JP2010237797A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】
前方を撮影する１つのカメラで撮影した画像情報に基づいて、側方の画像を形成する。
【解決手段】
本発明の画像処理装置は、時間的に連続する複数の画像情報から所定領域を抽出する抽出処理と、抽出した所定領域を変形して変形所定領域を生成する変形処理と、画像情報に対応する移動関連情報に基づいて、複数の変形所定領域を合成する合成処理を行うことを特徴とする。
【選択図】図６

Description

本発明は、車両などに搭載されたカメラで撮影した画像情報を処理する画像処理装置、および画像処理プログラムに関する。

近年、超音波センサ、カメラ、ＧＰＳなど各種センシング技術を車両に搭載し、安全性や快適性を向上させる各種製品が開発されている。中でも、画像情報を提供する車載カメラは、その機能の向上、並びに低価格化により、駐車を補助するバックモニターや全方位モニター、或いは、事故の状況を記録するドライブレコーダなど広く一般に普及しつつある。

特許文献１には、このような車載カメラを利用した多機能車載カメラシステムが記載されている。この多機能車載カメラシステムでは、図３に示されるように、車両の周囲に、前方を撮影する前方カメラ１１、真後ろを撮影するリアカメラ１８など合計８個のカメラが搭載され、車両の状況を示す信号に応じて、画像処理に使用するカメラの画像を指定するとともに、画像処理手段での画像処理の形態を切り換えることで、安全運転を支援する画像を、運転状況に応じた適切なタイミングで、また、運転者に分かり易い表示形態で表示することが開示されている。

この特許文献１における表示形態としては、隣り合うカメラで取得した画像を繋ぎ合わせて形成したパノラマ画像、全周画像、結合画像などが挙げられ、これらの画像により、運転者は一目で広い範囲の状況を知ることができる。

一方、車両に搭載されるカメラは、このような車両の状況把握だけでなく、事故による衝撃を検出することで、事故直前の映像を記録する事故状況を把握するドライブレコーダにも利用されている。

さらには、車載カメラで撮影した画像をＧＰＳで取得した位置情報と対応付け、インターネット上で地図情報と併せて公開する地図情報サービスも実用化されている。このような地図情報サービスによれば、実際の現場の様子や、走行ルートをインターネット上の地図を参照しながら確認することが可能となっている。

この地図情報サービスに用いられる画像には、車両の全周囲を見渡せるようなパノラマ画像が用いられているが、特許文献２には、このようなパノラマ画像を形成する映像生成システムとして、複数のカメラからなる全方位カメラシステムを用い、カメラ間の映像をパノラマ画像として合成し、実写映像を元にしたウォークスルーアニメーションを形成することが開示されている。

特開２００１ー５５１００号公報 特開２００４−２６５３９６号公報

特許文献１、特許文献２ではパノラマ画像のように広い領域の画像を形成するため多数のカメラを車両に搭載することが必要とされる。特に、地図情報サービスでは沿道の風景
が必要とされる場合が多く、その場合、左右両方の沿道風景を撮影するためには、少なくとも２台のカメラを用意する必要があり、カメラ台数の増加に伴うコスト増加や、車両上での限られたスペース内でのカメラの設置場所の確保といった問題が生じる。

本発明の画像形成装置は、時間的に連続する複数の画像情報から所定領域を抽出する抽出処理と、所定領域を変形して変形所定領域を生成する変形処理と、画像情報に対応する移動関連情報に基づいて、複数の変形所定領域が重複する領域を変化させて合成する合成処理を行うことを特徴とするものである。

さらに、本発明の画像形成装置において、合成処理は、移動関連情報により画像情報と後の時刻の画像情報間の移動距離を算出し、移動距離に基づいて重複する領域を変化させて合成することとしている。

さらに、本発明の画像形成装置において、合成処理は、複数の変形所定領域が重複する領域の幅を変化させて合成することとしている。

さらに、本発明の画像形成装置において、出力画像には、位置情報が付加されることとしている。

また、本発明の画像形成プログラムは、時間的に連続する複数の画像情報から所定領域を抽出する抽出処理と、所定領域を変形して変形所定領域を生成する変形処理と、画像情報に対応する移動関連情報に基づいて、複数の変形所定領域が重複する領域を変化させて合成する合成処理を行うことを特徴とするものである。

本発明の実施形態に係る前方カメラによる撮影の様子を示す図。 本発明の実施形態に係るデータ取得システムを示す図。 本発明の実施形態に係る取得データの詳細を示す図。 本発明の実施形態に係る画像処理システムを示す図。 本発明の実施形態に係る画像処理を示すフロー図。 本発明の実施形態に係る側方画像形成の様子を示す模式図。 本発明の実施形態に係る車両の走行特性を示す模式図。 本発明の実施形態に係る側方画像形成の様子を示す模式図。

図１は、本発明の実施形態に係る前方カメラによる撮影の様子を示した図である。本実施形態では、自車のフロントグリル中央付近に搭載された前方カメラにて車両前方の景色が撮影されるが、この前方カメラの搭載位置は、車室内など適宜な位置に設けてもよく、車両の中央から偏位した位置としてもよい。

また、本発明では、時間的に連続する複数の画像情報が必要とされるが、その取得については、前方カメラで動画（ムービー）を撮影することで取得することとしてもよいし、適宜な時間間隔にて静止画として取得するものであってもよい。

図２は、本発明の実施形態に係るデータ取得システムを示した図であり、図３は、このデータ取得システムによって取得された取得データの一例を示した図である。図２に示すデータ取得システムは、車両に搭載されるシステムであって、本実施形態では、前方カメラ１１、加速度センサ１２、ＧＰＳ１３、時計１４、制御部１５、データベース１６から構成されている。

前方カメラ１１は、図１にて説明したように車両に設置されるカメラであって、車両前方を撮影して前方画像を取得する。前方画像としては、適宜フレーム間隔にて撮影された動画であっても、適宜時間間隔で撮影された静止画であってもよい。

加速度センサ１２は、ジャイロによって構成された各種方向の加速度を検出するセンサであって、三軸ジャイロを利用した場合には、その出力となる加速度情報として、図３に示すように、車両の前後、左右、上下の加速度といったものの他、車体の前後軸まわりの運動、すなわち車体が右や左に傾く運動を示すＸ軸回転度（ローリング）、車体の左右軸まわりの運動、すなわち車首を上下に振る運動を示すＹ軸回転度（ピッチング）、車体の上下軸まわりの運動、すなわち車首を左右に振る運動（ヨーイング）を取得することができる。

取得した加速度情報の履歴を累算することで、適宜時刻の車両の速度や位置、移動距離を計算することができる。また、トンネル内などＧＰＳ１３にて位置情報が取得できない場合には、この加速度情報を利用することで位置情報を補間することが可能となる。

ＧＰＳ１３は、衛星から受信したＧＰＳ信号により車両の緯度、経度といった位置情報を出力する装置である。なお、ＧＰＳ信号には、日時、時刻といった計時情報も含まれているため、計時情報は、時計１４からの取得に代えて、このＧＰＳ信号を利用することとしてもよい。

時計１４は、日時、時刻といった計時情報を出力する装置である。記事情報は、取得した画像情報について時間軸での前後関係を規定するために用いることとしている。また、加速度情報から車両の位置、移動距離を計算する場合には、この計時情報が利用される。なお、画像情報の時間軸での前後関係を特定することができれば、計時情報ではなく、画像情報に対応付けられたシリアル番号などを利用してもよく、また、時刻のような絶対的な計時情報に限らず、ある時点を起点として計時を行う相対的な計時情報を用いることとしてもよい。

制御部１５は、前方カメラ１１、加速度センサ１２、ＧＰＳ１３、時計１４などから出力される各種情報を対応付け、取得データとしてデータベース１６に記憶させる。図３は、データベース１６に対応付けて記憶された取得データの一例を示した図である。

大項目に記載されるように画像情報に、移動関連情報、計時情報が対応付けられる。本実施形態では、このように１つの画像情報に移動関連情報、計時情報を対応付けたものとなっているが、画像情報から移動関連情報を特定できる構成であれば、このような対応付けに限らず、例えば、画像情報、移動関連情報の両者に付された計時情報から特定できるようにするなど各種の態様を採用することができる。そして、計時情報については、前述したように画像情報の時間軸での前後関係を特定することができるのであれば必ずしも必要とされない。

小項目をみると解るように、本実施形態において、画像情報は前方画像であり、移動関連情報は位置情報、加速度情報を含んで構成され、計時情報は日時、時刻を含む情報となっている。なお、この実施形態では、移動関連情報は、位置情報、加速度情報の両方を含んで構成しているが、移動関連情報は、少なくとも画像情報間での撮影時における移動距離が特定できる情報であれば足りるものであって、位置情報、加速度情報のどちらか一方を利用するものであってもよい。

詳細には、位置情報として緯度、経度からなるＧＰＳデータが、そして、加速度情報と
して加速度センサ１２で説明した各種の加速度情報が記載されている。加速度情報は、このように各種のものを記録することができるが、後に説明する画像処理において必要となる適宜のものを採用して記録することとしてもよい。

このようにデータベース１６には、各種センサで収集した情報が対応付けて記憶されることとなる。本実施形態では、図２のデータ取得システムを車両に搭載することとしたが、このデータ取得システムにおいてデータベース１６は、車両外に設置することとしてもよい。例えば、制御部１５とデータベース１６とを通信回線を介して接続し、図３で説明したような取得データを遠隔地に設置されているデータベース１６に送信して記憶させることとしてもよい。

図４は、本発明の実施形態に係る画像処理システムの概略を示した図である。本実施形態の画像処理システムは、データベース２１と画像処理装置２２にて構成されている。この画像処理システムは、図２のデータ取得システムとその一部を共用することとしても、別のシステムとして構築することとしてもよい。共用する場合、データベース２１はデータベース１６が、画像処理装置２２は制御部１５が兼用される。

データベース２１には、図１にて説明したデータ取得システムにおけるデータベース１６から画像処理装置２２における画像処理で必要となる情報が格納される。本実施形態では、少なくとも時間軸での前後関係が判別できる画像情報、そして、位置情報、加速度情報といった移動関連情報が必要とされる。

画像処理装置２２は、ＣＰＵ、ＧＰＵなどの制御手段、メモリ、ハードディスクといった記憶手段、各種インタフェースを備えたコンピュータにて構成される。この画像処理装置２２は、データベース２１から画像情報、移動関連情報を取得し、移動関連情報に基づいて画像情報を加工して出力画像を生成する。

画像処理装置２２は、パーソナルコンピュータなどの汎用ハードウェアにプログラムを動作させることで構成されることとしてもよい。その場合、本発明はハードウェア上で動作動作するプログラムとして提供される。

では、この画像処理装置２２における画像処理について図５〜図８を用いて説明する。図５は、本発明の実施形態に係る画像処理を示すフロー図であり、図６、図８は、本発明の実施形態に係る側方画像形成の様子を示した模式図であり、図７は、本発明の実施形態に係る車両の走行特性を示した図である。

図５は、前方画像から側方画像を形成する一連の画像処理を示したフロー図である。Ｓ１００にて画像処理が開始されると、まず、時刻Ｔにおける画像情報（前方画像）がデータベース２１から取得される。Ｓ１０２ではＳ１０１で取得された画像情報から所定領域の抽出される。図６（ａ）には、この所定領域の抽出の様子が示されている。この実施形態では、画像情報において左側に位置する台形状の領域を所定領域として抽出している。このように所定領域を台形状としたのは、画像における画角、遠近感を考慮したことを理由とするものである。画像における画角、遠近感は、カメラの光学系によって異なったものとなるため、この所定領域の抽出は撮像に利用された前方カメラ１１の各種光学系特性に応じて変更されることとしてもよい。

Ｓ１０３ではＳ１０２にて抽出された所定領域に対して変形処理を行う。この変形処理にはアフィン変換などが用いられ、抽出された所定領域が矩形状となるように変形して変形所定領域を形成する。例えば、図６（ａ）で抽出された所定領域の場合には、台形の短辺側を引き伸ばすようにして図６（ｃ）に示されるような矩形状の変形所定領域が形成さ
れる。

Ｓ１０４では次の時刻の画像情報がデータベース２１から取得される。この画像情報についても、所定領域の抽出（Ｓ１０５）、変形処理による変形所定領域の形成（Ｓ１０６）が前回の画像情報と同様に実行される。図６（ｂ）は、図６（ａ）に対して時間軸で後に位置する画像情報であって、図６（ｄ）は、図６（ｂ）の所定領域から形成された変形所定領域を示している。

Ｓ１０７では図３にて説明した位置情報、加速度情報といった移動関連情報に基づいて、複数の変形所定領域を重複させる重複領域が算出される。ここで重複領域とは連続する複数の画像情報から取得された変形所定領域を、幅方向、高さ方向についてどれだけ重ねるかを示す情報であって、少なくとも幅方向について算出される。

重複領域は、移動関連情報に基づいて変化させた領域とされることになるが、これは本実施形態において、時間の経過につれて撮影位置が変化することを理由としている。図９は、車両走行の特性を示した図であって、図９（ａ）は、移動方向Ａにて直進する車両の時刻Ｔと時刻Ｔ＋１での位置を示した図である。図に示すように時刻ＴとＴ＋１の間に車両は移動距離Ｌだけ直進した場合、画像情報の所定領域における撮影範囲は、ちょうどズーム効果が働いたように、画像情報の中央部から側方に向かって移動する。本発明は、この撮影範囲の移動に基づいて、重複領域を変化させて合成を行い、前方画像から側方画像を生成することを特徴としている。

特に、この図９（ａ）のように車両の移動距離を少なくとも利用することで重複領域が算出される。この移動距離Ｌは、位置情報、加速度情報にて算出できる。緯度、経度といった位置情報のみを利用した場合には、移動距離は時刻Ｔと時刻Ｔ＋１の位置情報の差分を取ることで算出できる。移動距離をより正確に算出するため、加速度情報を併せて算出することとしてもよい。また、この移動距離Ｌは、加速度情報のみにても算出することができる。この場合には、過去の加速度情報、並びに、それを取得した計時情報にて算出される。

図９（ｂ）は、時刻Ｔと時刻Ｔ＋１の間に車両の移動方向が移動方向Ａから移動方向Ａ’に変更された場合を示した図である。このように車両の移動方向が変更された場合には、前方カメラで撮影される方向も変更されることとなる。この場合、車両の移動方向の変更をも考慮して重複領域の算出を行うことで、車両の方向変化による撮影範囲の変化に対応した側方画像を生成することが可能となる。車両の移動方向は、位置情報の履歴や、加速度情報、あるいはその両方に基づいて算出、予測することができる。また、このような車両の左右方向についての方向の変更のみならず、段差を通行することで発生する車両の上下方向の方向の変更を考慮することとしてもよい。この場合、上下方向に関する加速度情報を用いて方向の検出が可能となる。

また、図９（ｂ）のように車両が移動方向を変更した場合においても移動距離Ｌ’のみで重複領域を算出することとしてもよい。これは、車両は急激に方向を変更することができないという車両の走行特性や、撮像間隔が短い場合においては、車両の左右方向の変化量が車両の前後方向の変化量に対して小さいものであることを理由としている。

Ｓ１０８では、Ｓ１０７で算出された重複領域に基づいて、時間的に前後する変形所定領域を合成する合成処理が行われる。この合成処理は、複数の変形所定領域を接続する処理であって、重複領域については、どちらか一方、あるいは、両方の変形所定領域を用いて画像が形成される。両方の変形所定領域を利用する場合には、両者の画素単位での平均をとるなどの処理を施すこととしてもよいし、両方を用いて解像度の高い画像を形成する
こととしてもよい。

また、この合成処理において、変形所定領域間の相関を取って両者の位置あわせを正確に行うようにすれば、変形所定領域間での画像ずれを抑制することが可能となる。重複領域が既に算出されているため、相関のためにずらす量も限定されたものとなり、相関のための計算量は抑制されたものとなる。

図６（ｅ）に示される合成処理による合成画像の例では、幅Ｌ１を有する斜線部の領域が重複領域に相当する部分となっており、このように移動関連情報に基づいて算出された重複領域に基づいて変形所定領域を合成することで、側方画像の幅を順次増加させることができる。

Ｓ１０９ではＳ１０８で合成された画像を出力画像として設定する。また、この出力画像に位置情報を対応付けることで、地図情報などから出力画像を検索することが可能となる。本実施形態では、撮影位置が異なる複数の画像情報に基づいて出力画像が作成されるため、適宜な撮影位置の位置情報を代表させたり、位置情報の平均をとるなどして位置情報の対応付けを行うことが考えられるが、出力画像の領域毎に位置情報を対応付けることとしてもよい。

Ｓ１１０では、Ｓ１０９で設定した出力画像のサイズ（幅方向、高さ方向の大きさ）が所定値を超えているか否かが判断される。超えた場合には画像処理を終了する。一方、超えていない場合には、Ｓ１０４に戻って再度、次の時刻の画像情報を取得し、Ｓ１０４〜Ｓ１０９の処理を実行する。このように、前方画像からの所定領域の抽出、変形、合成を再帰的に行うことで、前方画像から側方画像を生成することが可能となる。

図６では、画像情報の左側について側方画像を生成する例を示したが、図８に示すように右側についても同様に画像処理を行うことで、前方画像から左右両方の側方画像の生成が可能となる。

以上、本発明によれば、前方を撮影する１つのカメラで撮影された前方画像に基づいて側方画像を生成することが可能となる。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１１…前方カメラ、１２…加速度センサ、１３…ＧＰＳ、１４…時計、１５…制御部、１６…データベース、２１…データベース、２２…画像処理装置

Claims (5)

1. 時間的に連続する複数の画像情報から所定領域を抽出する抽出処理と、
   所定領域を変形して変形所定領域を生成する変形処理と、
   画像情報に対応する移動関連情報に基づいて、複数の変形所定領域が重複する領域を変化させて合成する合成処理を行うことを特徴とする
   画像処理装置。
2. 合成処理は、移動関連情報により画像情報と後の時刻の画像情報間の移動距離を算出し、移動距離に基づいて重複する領域を変化させて合成する
   請求項１に記載の画像処理装置。
3. 合成処理は、複数の変形所定領域が重複する領域の幅を変化させて合成する
   請求項１または請求項２に記載の画像処理装置。
4. 出力画像には、位置情報が付加されている
   請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 時間的に連続する複数の画像情報から所定領域を抽出する抽出処理と、
   所定領域を変形して変形所定領域を生成する変形処理と、
   画像情報に対応する移動関連情報に基づいて、複数の変形所定領域が重複する領域を変化させて合成する合成処理を行うことを特徴とする
   画像処理プログラム。

Images