JP2020167566A - 画像記録再生システム、画像処理装置及び画像再生装置 - Google Patents

Abstract

【課題】魚眼レンズを用いて撮影した映像を長時間記録すると共に、特定領域を鮮明に再生する、画像記録再生システムを提供する。【解決手段】画像記録再生システムにおいて、画像処理装置２及び画像再生装置３は、魚眼レンズを有しカラー画像を生成する撮像装置１と、カラー画像を圧縮して圧縮カラー画像を生成する第１圧縮部２２と、カラー画像を可逆圧縮して圧縮白黒画像を生成する第２圧縮部２３と、圧縮白黒画像から所定の対象物に対応する部分を抽出し、抽出した白黒部分画像と抽出部分の位置情報とを含む抽出情報を生成する抽出部２４と、圧縮カラー画像と抽出情報とを結合して圧縮し圧縮データを生成する結合部２５と、圧縮データを解凍し位置情報に基づいて圧縮カラー画像に白黒部分画像を合成し、再生用画像を生成する合成部３２と、再生用画像を表示装置へ転送して再生する再生部３３と、を備える。【選択図】図１

Description

本発明は、画像記録再生システム、画像処理装置及び画像再生装置に関する。

車両外部の映像を記録するドライブレコーダを搭載する車両が増えている。ドライブレコーダによる映像は、例えば車両事故の原因究明に役立っている。

従来のドライブレコーダは、衝突等のイベント発生の前後数十秒間の映像を記録するものが主流であったが、記録媒体の高容量化に伴い、常時録画機能を有するものが増えている。例えば、車両の走行中、常時連続して録画するドライブレコーダは、衝突等のイベント発生時の映像を確実に記録する反面、大容量のメモリを必要とする。

メモリの記憶容量が一杯になる度に別のメモリカードに入れ替えるのは手間がかかる。そのため、常時録画機能を有するドライブレコーダは、メモリの容量が一杯になると、古い映像を消去して現在の映像を上書き保存していた。このような手法では、保存が必要な映像が上書き消去される可能性があった。長時間録画するためには、画像を高倍率で圧縮する必要があるが、高倍率で圧縮された画像は、画質が劣化する。

近年、車両周囲の広範囲を撮影するために、魚眼レンズを取り付けた車載カメラが使用されている。魚眼レンズを用いて撮影した画像は、車両近傍はきれいに見えるが、車両から遠くなるほど歪みが大きくなる。例えば、車両から離れた位置で事故を起こした車両のナンバープレートを確認するためには、画像を高画質で記録しておく必要がある。しかし、メモリ容量には限界があり、高画質の画像を長時間録画することは困難であった。

特開２００４−１２０３４１号公報 特開２００２−３５４４８７号公報 特開２０１６−２８３３２号公報

本発明は、魚眼レンズを用いて撮影した映像を長時間記録すると共に、特定領域を鮮明に再生できる画像記録再生システム、画像処理装置及び画像再生装置を提供することを目的とする。

本発明の画像記録再生システムは、魚眼レンズを有し、カラー画像を生成する撮像装置と、前記カラー画像を圧縮して、圧縮カラー画像を生成する第１圧縮部と、前記カラー画像を可逆圧縮して、圧縮白黒画像を生成する第２圧縮部と、前記圧縮白黒画像から所定の対象物に対応する部分を抽出し、抽出した白黒部分画像と、抽出部分の位置情報とを含む抽出情報を生成する抽出部と、前記圧縮カラー画像と前記抽出情報とを結合して、結合データを生成する結合部と、前記結合データ内の抽出情報に含まれる前記位置情報に基づいて、前記圧縮カラー画像に前記白黒部分画像を合成し、再生用画像を生成する合成部と、前記再生用画像を表示装置へ転送して再生する再生部と、を備えるものである。

本発明の一態様では、前記第１圧縮部は、非可逆圧縮処理により前記圧縮カラー画像を生成する

本発明の一態様では、前記第１圧縮部による圧縮率は、前記第２圧縮部による圧縮率よりも高い。

本発明の一態様では、前記結合部は、前記結合データを圧縮して圧縮データを生成し、前記合成部は、前記圧縮データを解凍した後、前記再生用画像を生成する。

本発明の一態様では、前記結合部は、圧縮対象としない領域に前記抽出情報を結合する。

本発明の一態様では、前記撮像装置は車両に搭載され、前記抽出部は、ナンバープレート、人物の顔、又は所定の色で囲まれた部分を抽出する。

本発明の画像処理装置は、魚眼レンズを有する撮像装置が生成したカラー画像を取得する画像取得部と、前記カラー画像を圧縮して、圧縮カラー画像を生成する第１圧縮部と、前記カラー画像を可逆圧縮して、圧縮白黒画像を生成する第２圧縮部と、前記圧縮白黒画像から所定の対象物に対応する部分を抽出し、抽出した白黒部分画像と、抽出部分の位置情報とを含む抽出情報を生成する抽出部と、前記圧縮カラー画像と前記抽出情報とを結合して、結合データを生成する結合部と、前記結合データを格納する記憶部と、を備えるものである。

本発明の画像再生装置は、本発明の画像処理装置の前記記憶部に格納されている前記結合データの入力を受け付ける画像入力部と、前記結合データ内の前記抽出情報に含まれる前記位置情報に基づいて、前記圧縮カラー画像に前記白黒部分画像を合成し、再生用画像を生成する合成部と、前記再生用画像を表示装置へ転送して再生する再生部と、を備えるものである。

本発明によれば、魚眼レンズを用いて撮影した映像を長時間記録すると共に、特定領域を鮮明に再生できる。

実施の形態に係る画像記録再生システムの機能ブロック図である。 画像圧縮処理を説明する図である。 画像再生処理を説明する図である。

以下、図面を参照して実施の形態について説明する。

図１に示すように、本発明の実施形態に係る画像記録再生システムは、撮像装置１、画像処理装置２、画像再生装置３、及び表示装置４を備える。以下、画像記録再生システムを、車両の周囲を撮影し、映像を記録するドライブレコーダに適用する場合について説明する。

撮像装置１は、魚眼レンズ（広角レンズ）と、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子とを有し、車両に搭載され、車両前方を含む周辺環境を撮像し、カラー値で表されるカラー画像を生成する。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（Ｕ、Ｖ）からなるＹＵＶ形式の色空間、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるＲＧＢ形式の色空間、または、色相（Ｈ）、彩度（Ｓ）、明度（Ｂ）からなるＨＳＢ形式の色空間のいずれかで表される数値群である。

撮像装置１は、カラー画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。

画像処理装置２は、制御部２０及び記憶部Ｍを有する。記憶部Ｍは、ハードディスクやフラッシュメモリ等である。制御部２０は、ＣＰＵ（中央処理装置）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む。ＣＰＵがプログラムを実行することで、画像取得部２１、第１圧縮部２２、第２圧縮部２３、抽出部２４、及び結合部２５の機能が実現される。

画像取得部２１は、撮像装置１からカラー画像を取得する。

第１圧縮部２２は、圧縮率の高い不可逆圧縮（非可逆圧縮）を行うものであり、図２に示すように、撮像装置１が生成したカラー画像Ｄ１を圧縮し、圧縮カラー画像Ｄ２を生成する。圧縮率の高い不可逆圧縮としては、例えばＪＰＥＧ（Joint Photographic Experts Group）が挙げられる。ＪＰＥＧでは、画像を固定サイズ（８×８画素）のブロックに分割し、そのブロック単位で、ＤＣＴ（離散コサイン変換）を用いて、空間領域から周波数領域へ変換する。変換されたデータは、量子化によって情報量を落としてから、ハフマン符号によるエントロピー符号化がなされ圧縮が行われる。エントロピー符号化は、データの生起確率の高低に応じて異なる長さの符号を割り当て、圧縮を行うものである。

第２圧縮部２３は、第１圧縮部２２よりも圧縮率の低い可逆圧縮を行うものであり、撮像装置１が生成したカラー画像Ｄ１を圧縮し、圧縮白黒画像Ｄ３を生成する。第２圧縮部２３による圧縮形式としては、ＴＩＦＦ、ＰＮＧ、ＧＩＦ、ＰＳＤ、ＴＧＡなどが挙げられる。可逆圧縮は、圧縮前のデータと、圧縮・展開の処理を経たデータが完全に等しくなるデータ圧縮方法であり、圧縮によって画質が劣化しないものである。

抽出部２４は、圧縮白黒画像から、鮮明化したい特定領域を切り出して抽出する。特定領域は、例えば、ナンバープレート、人物の顔、標識などの特定の色で囲まれた部分等である。公知の画像認識技術により、圧縮白黒画像内に特定領域に相当する対象が含まれているか否か判定できる。図２に示すように、抽出部２４は、圧縮白黒画像Ｄ３から抽出した白黒部分画像ＢＷ及び抽出部分の位置情報を含む抽出情報Ｄ４を出力する。

結合部２５は、圧縮カラー画像Ｄ２の圧縮対象としない領域に、抽出情報Ｄ４を結合して圧縮し、圧縮カラー画像Ｄ５（圧縮データ）を作成する。圧縮カラー画像Ｄ５は、記憶部Ｍに格納される。

上述したように、撮像装置１は魚眼レンズを有するものであり、魚眼レンズから入射した光が、ＣＭＯＳ等の撮像素子で受光される領域は円形になる。一方、撮像素子は矩形であるため、図２に示すように、カラー画像Ｄ１の周縁部分Ｐは情報を持っておらず、圧縮対象とならない。結合部２５は、この周縁部分に、抽出情報を貼り付ける。例えば、ＪＰＥＧファイルの圧縮対象としない領域に、白黒ＴＩＦＦデータ及び位置情報を貼り付けて、１つのＪＰＥＧファイルにする。

上述した画像取得部２１、第１圧縮部２２、第２圧縮部２３、抽出部２４、及び結合部２５の処理は、撮像装置１がカラー画像を生成する度に（フレーム毎に）実行される。

画像再生装置３は、画像入力部３１、合成部３２及び再生部３３を有する。ＣＰＵが再生プログラムを実行することで、画像入力部３１、合成部３２及び再生部３３の機能が実現される。画像再生装置３は、画像処理装置２と一体となりドライブレコーダに設けられていてもよいし、画像処理装置２とは別の再生専用の装置であってもよい。

画像入力部３１は、記憶部Ｍに格納されている圧縮カラー画像Ｄ５の入力を受け付ける。画像処理装置２と画像再生装置３とが一体となっている場合は、記憶部Ｍから圧縮カラー画像Ｄ５を取り出す。画像処理装置２と画像再生装置３とが別体の場合は、例えば、メモリカード等に圧縮カラー画像Ｄ５を格納し、画像再生装置３に取り込む。画像処理装置２が無線通信機能を有する場合は、画像処理装置２から画像再生装置３へ圧縮カラー画像Ｄ５を転送してもよい。

合成部３２は、圧縮カラー画像Ｄ５を解凍し、抽出情報Ｄ４に含まれる位置情報に基づいて、白黒部分画像ＢＷを圧縮カラー画像Ｄ２上に合成し、再生用の画像Ｄ６を生成する。例えば、白黒部分画像ＢＷの白部分は除去し、黒部分のみを圧縮カラー画像Ｄ２上に合成する。

再生部３３は、画像Ｄ６を液晶ディスプレイ等の表示装置４へ転送し、再生する。

画像Ｄ６は、大半は画質を落としたカラー画像となっているが、特定領域は高画質の白黒画像（黒部分）が貼り付けられている。そのため、ナンバープレート等の重要な部分が鮮明化された画像を再生できる。

このように、本実施形態によれば、カラー画像Ｄ１を圧縮率の高い不可逆圧縮で圧縮して圧縮カラー画像Ｄ２を生成する。また、カラー画像Ｄ１を可逆圧縮して圧縮白黒画像Ｄ３を生成し、圧縮白黒画像Ｄ３から特定領域の白黒部分画像ＢＷを抽出する。記憶部Ｍには、圧縮カラー画像Ｄ２の圧縮対象としない領域に、白黒部分画像ＢＷを含む抽出情報Ｄ４を結合して圧縮した圧縮カラー画像Ｄ５を格納する。圧縮カラー画像Ｄ５はデータサイズが小さいため、記憶部Ｍに画像データを長時間記録できる。また、圧縮・解凍処理により白黒部分画像ＢＷは画質が劣化しないため、圧縮カラー画像に白黒部分画像をのせることで、特定領域が鮮明化された映像を再生できる。

上記実施形態において、第２圧縮部２３における圧縮方式は可逆圧縮でなく、圧縮率の低い非可逆圧縮であってもよい。

再生部３３は、表示装置４での画像再生にあたり、歪み補正処理などを行ってもよい。

上記実施形態では、画像記録再生システムをドライブレコーダに適用する例について説明したが、その他の用途にも適用できる。例えば、食品加工工場や厨房等で、作業員や作業の様子を撮影し、作業員の顔や、作業を行っている手元部分を特定領域として抽出してもよい。これにより、作業員の認証や行動把握を精度良く実施できる。

上記実施形態において、結合部２５による圧縮処理を省略してもよい。この場合、結合部２５は、圧縮カラー画像Ｄ２と抽出情報Ｄ４とを結合した結合データを生成し、記憶部Ｍに格納する。画像再生装置３の合成部３２は、結合データを圧縮カラー画像Ｄ２と抽出情報Ｄ４とに分離し、白黒部分画像ＢＷを圧縮カラー画像Ｄ２に合成して再生用画像Ｄ６を生成する。

上記実施形態においてカラー画像Ｄ１から圧縮白黒画像Ｄ３を生成するにあたり、カラー画像の各画素のＲ値に基づく第１白黒画像、Ｇ値に基づく第２白黒画像、Ｂ値に基づく第３白黒画像を生成し、第１〜第３白黒画像を合成して圧縮白黒画像Ｄ３を生成してもよい。これにより、圧縮白黒画像Ｄ３の解像度が向上し得る。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ 撮像装置
２ 画像処理装置
３ 画像再生装置
４ 表示装置

Claims (8)

1. 魚眼レンズを有し、カラー画像を生成する撮像装置と、
   前記カラー画像を圧縮して、圧縮カラー画像を生成する第１圧縮部と、
   前記カラー画像を可逆圧縮して、圧縮白黒画像を生成する第２圧縮部と、
   前記圧縮白黒画像から所定の対象物に対応する部分を抽出し、抽出した白黒部分画像と、抽出部分の位置情報とを含む抽出情報を生成する抽出部と、
   前記圧縮カラー画像と前記抽出情報とを結合して、結合データを生成する結合部と、
   前記結合データ内の抽出情報に含まれる前記位置情報に基づいて、前記圧縮カラー画像に前記白黒部分画像を合成し、再生用画像を生成する合成部と、
   前記再生用画像を表示装置へ転送して再生する再生部と、
   を備える画像記録再生システム。
2. 前記第１圧縮部は、非可逆圧縮処理により前記圧縮カラー画像を生成することを特徴とする請求項１に記載の画像記録再生システム。
3. 前記第１圧縮部による圧縮率は、前記第２圧縮部による圧縮率よりも高いことを特徴とする請求項１又は２に記載の画像記録再生システム。
4. 前記結合部は、前記結合データを圧縮して圧縮データを生成し、
   前記合成部は、前記圧縮データを解凍した後、前記再生用画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像記録再生システム。
5. 前記結合部は、圧縮対象としない領域に前記抽出情報を結合することを特徴とする請求項４に記載の画像記録再生システム。
6. 前記撮像装置は車両に搭載され、
   前記抽出部は、ナンバープレート、人物の顔、又は所定の色で囲まれた部分を抽出することを特徴とする請求項１乃至５のいずれか１項に記載の画像記録再生システム。
7. 魚眼レンズを有する撮像装置が生成したカラー画像を取得する画像取得部と、
   前記カラー画像を圧縮して、圧縮カラー画像を生成する第１圧縮部と、
   前記カラー画像を可逆圧縮して、圧縮白黒画像を生成する第２圧縮部と、
   前記圧縮白黒画像から所定の対象物に対応する部分を抽出し、抽出した白黒部分画像と、抽出部分の位置情報とを含む抽出情報を生成する抽出部と、
   前記圧縮カラー画像と前記抽出情報とを結合して、結合データを生成する結合部と、
   前記結合データを格納する記憶部と、
   を備える画像処理装置。
8. 請求項７に記載の画像処理装置の前記記憶部に格納されている前記結合データの入力を受け付ける画像入力部と、
   前記結合データ内の前記抽出情報に含まれる前記位置情報に基づいて、前記圧縮カラー画像に前記白黒部分画像を合成し、再生用画像を生成する合成部と、
   前記再生用画像を表示装置へ転送して再生する再生部と、
   を備える画像再生装置。
   

Images