JP2010237798A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】
撮影した画像情報から、障害物や歩行者などの障害物を除去するとともに、障害物にて隠蔽された領域を修復する。
【解決手段】
本発明の画像処理装置は、画像情報内の障害物を検出する検出処理と、検出した障害物を含む領域を画像情報における無効領域に設定する設定処理と、画像情報に対応する移動関連情報に基づいて、後の時刻の画像情報から無効領域に対応する補間用領域を抽出する抽出処理と、画像情報の無効領域に補間用領域を合成する合成処理を行うことを特徴とする。
【選択図】図１０

Description

本発明は、車両などに搭載されたカメラで撮影した画像情報を処理する画像処理装置、および画像処理プログラムに関する。

近年、超音波センサ、カメラ、ＧＰＳなど各種センシング技術を車両に搭載し、安全性や快適性を向上させる各種製品が開発されている。中でも、画像情報を提供する車載カメラは、その機能の向上、並びに低価格化により、駐車を補助するバックモニターや全方位モニター、或いは、事故の状況を記録するドライブレコーダなど広く一般に普及しつつある。

特許文献１には、このような車載カメラを利用した多機能車載カメラシステムが記載されている。この多機能車載カメラシステムでは、図３に示されるように、車両の周囲に、前方を撮影する前方カメラ１１、真後ろを撮影するリアカメラ１８など合計８個のカメラが搭載され、車両の状況を示す信号に応じて、画像処理に使用するカメラの画像を指定するとともに、画像処理手段での画像処理の形態を切り換えることで、安全運転を支援する画像を、運転状況に応じた適切なタイミングで、また、運転者に分かり易い表示形態で表示することが開示されている。

この特許文献１における表示形態としては、隣り合うカメラで取得した画像を繋ぎ合わせて形成したパノラマ画像、全周画像、結合画像などが挙げられ、これらの画像により、運転者は一目で広い範囲の状況を知ることができる。

一方、車両に搭載されるカメラは、このような車両の状況把握だけでなく、事故による衝撃を検出することで、事故直前の映像を記録する事故状況を把握するドライブレコーダにも利用されている。

さらには、車載カメラで撮影した画像をＧＰＳで取得した位置情報と対応付け、インターネット上で地図情報と併せて公開する地図情報サービスも実用化されている。このような地図情報サービスによれば、実際の現場の様子や、走行ルートをインターネット上の地図を参照しながら確認することが可能となっている。

この地図情報サービスに用いられる画像には、車両の全周囲を見渡せるようなパノラマ画像が用いられているが、特許文献２には、このようなパノラマ画像を形成する映像生成システムとして、複数のカメラからなる全方位カメラシステムを用い、カメラ間の映像をパノラマ画像として合成し、実写映像を元にしたウォークスルーアニメーションを形成することが開示されている。

特開２００１ー５５１００号公報 特開２００４−２６５３９６号公報

以上のようなインターネット上で提供される地図情報サービスや、特許文献２における映像生成システムでは、実際に走行する車両から道路周辺の風景を撮影するため、道路を
走行する他の車両や歩行者などが一緒に撮影される。トラックなどの大型の車両が写し込まれた場合には、本来必要となる風景が得ることができない。また、このように撮影された画像を、インターネットで広く一般に公開した場合には、車両のナンバープレートや歩行者なども一緒に公開され、プライバシーの侵害の問題が生ずることとなる。

このような問題に配慮するため、当該画像から車両や歩行者などにモザイクをかけるなどの画像処理を施すことが行われているが、このような画像処理を施した画像は違和感が残ったものとなる。

本発明の画像形成装置は、画像情報内の障害物を検出する検出処理と、検出した障害物を含む領域を画像情報における無効領域に設定する設定処理と、画像情報に対応する移動関連情報に基づいて、後の時刻の画像情報から無効領域に対応する補間用領域を抽出する抽出処理と、画像情報の無効領域に補間用領域を合成する合成処理を行うことを特徴とするものである。

さらに、本発明の画像形成装置において、抽出処理は、移動関連情報により画像情報と後の時刻の画像情報間の移動距離を算出し、移動距離に基づいて補間用領域を抽出することとしている。

さらに、本発明の画像形成装置において、移動関連情報は、画像情報に対応する位置情報を含むこととしている。

さらに、本発明の画像形成装置において、移動関連情報は、画像情報に対応する加速度情報を含むこととしている。

さらに、本発明の画像形成装置において、障害物は、車両もしくは歩行者であることとしている。

さらに、本発明の画像形成装置において、出力画像には、位置情報が付加されることとしている。

また、本発明の画像形成プログラムは、画像情報内の障害物を検出する検出処理と、検出した障害物を含む領域を画像情報における無効領域に設定する設定処理と、画像情報に対応する移動関連情報に基づいて、後の時刻の画像情報から無効領域に対応する補間用領域を抽出する抽出処理と、画像情報の無効領域に補間用領域を合成する合成処理を行うことを特徴とするものである。

本発明の実施形態に係る前方カメラによる撮影の様子を示す図。 本発明の実施形態に係るデータ取得システムを示す図。 本発明の実施形態に係る取得データの詳細を示す図。 本発明の実施形態に係る画像処理システムを示す図。 本発明の実施形態に係る画像処理を示すフロー図。 本発明の実施形態に係る補間処理を示すフロー図。 本発明の実施形態に係る無効領域設定の様子を示す図。 本発明の実施形態に係る補間用領域設定の様子を示す図。 本発明の実施形態に係る車両の走行特性を示す模式図。 本発明の実施形態に係る画像処理の様子を示す図。 本発明の実施形態に係る画像処理の様子を示す図。 本発明の実施形態に係る撮像タイミングと、画像処理に利用する画像情報の関係を示す図。

図１は、本発明の実施形態に係る前方カメラによる撮影の様子を示した図である。本実施形態では、自車のフロントグリル中央付近に搭載された前方カメラにて車両前方の景色が撮影されるが、この前方カメラの搭載位置は、車室内など適宜な位置に設けてもよく、車両の中央から偏位した位置としてもよい。

また、本発明では、時間的に連続する複数の画像情報が必要とされるが、その取得については、前方カメラで動画（ムービー）を撮影することで取得することとしてもよいし、適宜な時間間隔にて静止画として取得するものであってもよい。

このように車両に搭載されたカメラにて撮影を行い沿道の風景を取得する場合、不必要な障害物が画像に写り込んでしまう場合がある。ここでいう障害物としては、例えば、図に示すような、自車の前方を同方向に走行する前方車両、対向車線を走行する対向車両、あるいは、歩道を歩いている歩行者などがあげられる。このような障害物は、本来取得したい沿道の風景を遮蔽してしまう。

また、取得した画像が高解像度の場合には、車両のナンバープレートや人の顔などが鮮明に写ってしまい、インターネット上などで公開した場合にはプライバシーの問題などが発生する。本発明は、このような状況を鑑み、取得した画像情報から障害物を取り除くとともに、障害物によって隠蔽された領域を他の画像情報によって補間することを特徴とするものである。なお、本発明における障害物とする車両とは、図示するような自動車のみならず、バイクや自転車といった二輪車なども含むものである。

図２は、本発明の実施形態に係るデータ取得システムを示した図であり、図３は、このデータ取得システムによって取得された取得データの一例を示した図である。図２に示すデータ取得システムは、車両に搭載されるシステムであって、本実施形態では、前方カメラ１１、加速度センサ１２、ＧＰＳ１３、時計１４、制御部１５、データベース１６から構成されている。

前方カメラ１１は、図１にて説明したように車両に設置されるカメラであって、車両前方を撮影して前方画像を取得する。前方画像としては、適宜フレーム間隔にて撮影された動画であっても、適宜時間間隔で撮影された静止画であってもよい。

加速度センサ１２は、ジャイロによって構成された各種方向の加速度を検出するセンサであって、三軸ジャイロを利用した場合には、その出力となる加速度情報として、図３に示すように、車両の前後、左右、上下の加速度といったものの他、車体の前後軸まわりの運動、すなわち車体が右や左に傾く運動を示すＸ軸回転度（ローリング）、車体の左右軸まわりの運動、すなわち車首を上下に振る運動を示すＹ軸回転度（ピッチング）、車体の上下軸まわりの運動、すなわち車首を左右に振る運動（ヨーイング）を取得することができる。

取得した加速度情報の履歴を累算することで、適宜時刻の車両の速度や位置、移動距離を計算することができる。また、トンネル内などＧＰＳ１３にて位置情報が取得できない場合には、この加速度情報を利用することで位置情報を補間することが可能となる。

ＧＰＳ１３は、衛星から受信したＧＰＳ信号により車両の緯度、経度といった位置情報を出力する装置である。なお、ＧＰＳ信号には、日時、時刻といった計時情報も含まれて
いるため、計時情報は、時計１４からの取得に代えて、このＧＰＳ信号を利用することとしてもよい。

時計１４は、日時、時刻といった計時情報を出力する装置である。記事情報は、取得した画像情報について時間軸での前後関係を規定するために用いることとしている。また、加速度情報から車両の位置、移動距離を計算する場合には、この計時情報が利用される。なお、画像情報の時間軸での前後関係を特定することができれば、計時情報ではなく、画像情報に対応付けられたシリアル番号などを利用してもよく、また、時刻のような絶対的な計時情報に限らず、ある時点を起点として計時を行う相対的な計時情報を用いることとしてもよい。

制御部１５は、前方カメラ１１、加速度センサ１２、ＧＰＳ１３、時計１４などから出力される各種情報を対応付け、取得データとしてデータベース１６に記憶させる。図３は、データベース１６に対応付けて記憶された取得データの一例を示した図である。

大項目に記載されるように画像情報に、移動関連情報、計時情報が対応付けられる。本実施形態では、このように１つの画像情報に移動関連情報、計時情報を対応付けたものとなっているが、画像情報から移動関連情報を特定できる構成であれば、このような対応付けに限らず、例えば、画像情報、移動関連情報の両者に付された計時情報から特定できるようにするなど各種の態様を採用することができる。そして、計時情報については、前述したように画像情報の時間軸での前後関係を特定することができるのであれば必ずしも必要とされない。

小項目をみると解るように、本実施形態において、画像情報は前方画像であり、移動関連情報は位置情報、加速度情報を含んで構成され、計時情報は日時、時刻を含む情報となっている。なお、この実施形態では、移動関連情報は、位置情報、加速度情報の両方を含んで構成しているが、移動関連情報は、少なくとも画像情報間での撮影時における移動距離が特定できる情報であれば足りるものであって、位置情報、加速度情報のどちらか一方を利用するものであってもよい。

詳細には、位置情報として緯度、経度からなるＧＰＳデータが、そして、加速度情報として加速度センサ１２で説明した各種の加速度情報が記載されている。加速度情報は、このように各種のものを記録することができるが、後に説明する画像処理において必要となる適宜のものを採用して記録することとしてもよい。

このようにデータベース１６には、各種センサで収集した情報が対応付けて記憶されることとなる。本実施形態では、図２のデータ取得システムを車両に搭載することとしたが、このデータ取得システムにおいてデータベース１６は、車両外に設置することとしてもよい。例えば、制御部１５とデータベース１６とを通信回線を介して接続し、図３で説明したような取得データを遠隔地に設置されているデータベース１６に送信して記憶させることとしてもよい。

図４は、本発明の実施形態に係る画像処理システムの概略を示した図である。本実施形態の画像処理システムは、データベース２１と画像処理装置２２にて構成されている。この画像処理システムは、図２のデータ取得システムとその一部を共用することとしても、別のシステムとして構築することとしてもよい。共用する場合、データベース２１はデータベース１６が、画像処理装置２２は制御部１５が兼用される。

データベース２１には、図１にて説明したデータ取得システムにおけるデータベース１６から画像処理装置２２における画像処理で必要となる情報が格納される。本実施形態で
は、少なくとも時間軸での前後関係が判別できる画像情報、そして、位置情報、加速度情報といった移動関連情報が必要とされる。

画像処理装置２２は、ＣＰＵ、ＧＰＵなどの制御手段、メモリ、ハードディスクといった記憶手段、各種インタフェースを備えたコンピュータにて構成される。この画像処理装置２２は、データベース２１から画像情報、移動関連情報を取得し、移動関連情報に基づいて画像情報を加工して出力画像を生成する。

画像処理装置２２は、パーソナルコンピュータなどの汎用ハードウェアにプログラムを動作させることで構成されることとしてもよい。その場合、本発明はハードウェア上で動作動作するプログラムとして提供される。

では、この画像処理装置２２における画像処理について図５〜図１１を用いて説明する。図５は、本発明の実施形態に係る画像処理を示すフロー図であり、図６は、本発明の実施形態に係る補間処理を示すフロー図であり、図７は、本発明の実施形態に係る無効領域設定の様子を示す図であり、図８は、本発明の実施形態に係る補間用領域設定の様子を示す図であり、図９は、本発明の実施形態に係る車両の走行特性を示す模式図であり、図１０、図１１は、本発明の実施形態に係る画像処理の様子を示す図である。

図５は、１つの画像情報に対する画像処理を示したフロー図である。複数の画像情報に対して画像処理を行う場合には、この図５に示すフローが繰り返し行われる。Ｓ１００にて画像処理が開始されると、まず、１つの画像情報（前方画像）がデータベース２１から取得される。Ｓ１０２では、取得した画像情報を解析することで当該画像情報内の障害物を検出する。

図７（Ａ）は、この画像情報内の障害物検出の様子の一例を示した図である。この図では画像情報内に前方を走行する前方車両が写り込み、前方の景色を隠蔽するとともに、車両のナンバープレートも一緒に撮影されたものとなっている。本実施形態では、この前方車両のような物体を障害物として検知することとしている。その検知方法には、例えば、以下に説明する３つの形態を利用することができる。
（１）予め障害物の対称となる画像、あるいは、その特徴量をテンプレートとして記憶しておき、画像情報とパターンマッチングを取ることで画像情報内での障害物の検出を行う形態。
（２）画像情報内の輪郭線などの特徴形状を抽出し、ニューラルネットワークなどを利用して解析し、画像情報内での障害物を検出する形態。
（３）複数の画像情報内での輝度変化に基づく動きベクトル（オプティカルフロー）を検出し、自車の動きに基づく動きベクトルとは異なる部分を障害物として検知する形態。この場合、自車の動きを検出するため移動関連情報が利用される。

このような各種形態を利用することで、画像情報内の障害物が検出される。これら形態は単独で用いてもよいし、各種状況や画像情報の状態で切り換えることとしてもよいし、また、複数組み合わせることで障害物検出の精度を向上させることとしてもよい。なお、１つの画像情報内において障害物は１つのみならず複数検出することも可能である。

図５に戻り、Ｓ１０２ではＳ１０１の障害物検出処理にて、画像情報に障害物が検出されたか否かの判定される。障害物がないと判定された場合には、Ｓ１０４においてＳ１０１で取得した画像情報をそのまま出力画像に設定し、画像処理を終了する。なお、この出力画像の設定では、出力画像に位置情報が対応付けて設定される。出力画像に位置情報を対応付けることで、地図情報などから出力画像を検索することが可能となる。一方、画像情報内に障害物が検出された場合には、Ｓ２００にて画像処理に対し補間処理を行った上
で、出力画像が形成される。

図６は、このＳ２００の補間処理の詳細を示したフロー図であり、図１０、図１１は、この補間処理による画像形成の様子を示した模式図である。図５のＳ１０３で画像情報内に障害物があると判定された場合には、Ｓ２０１からの補間処理が開始される。Ｓ２０２では、検出した障害物を含む領域を無効領域に設定する。

図７は、この無効領域の設定の様子を示した図であって、図７（ａ）で検出した障害物（この場合、前方車両）を含む破線で囲まれた矩形領域を、図７（ｂ）のような無効領域として設定する。無効領域の形状は、矩形領域だけでなく適宜な形状を採用することができ、障害物の形状にドット単位、あるいは、所定のブロック単位で適合させた形状としてもよい。できるだけ障害物のみを無効領域とすることで、必要となる背景を拡大させることが可能となる。

Ｓ２０３では、この無効領域が設定された画像情報を基本画像として設定する。図１０、図１１の（ａ）、（Ａ１）には、画像情報となる前方画像から基本画像が設定される様子が示されている。本実施形態では、この基本画像において情報が欠落した領域である無効領域を時間軸で後に位置する画像情報で補うことを特徴とするものである。

Ｓ２０４では、この無効領域を補うための画像情報がデータベース２１から取得される。Ｓ２０５では、Ｓ２０４で取得した画像情報から、Ｓ２０２で設定した無効領域に対応する補間用領域が抽出される。この補間用領域とは、Ｓ２０４で取得した画像情報中の無効領域に対応する撮像範囲であって、その抽出は移動関連情報に基づいて行われる。

図８は、この補間用領域の抽出の様子を示した図であり、画像情報中の２つの無効領域Ａ、Ｂと、それぞれに対応した補間用領域の対応関係を示した図である。時刻Ｔで取得した画像情報において無効領域Ａが設定された場合、時刻Ｔ＋１で取得した画像情報は、時刻Ｔにおける撮影位置よりも前方に進んで撮影されたものとなる。前方に進んで撮影することは、ちょうどズーム効果が働いたものと同等の画像となるため、時刻Ｔ＋１において無効領域と同等の撮像範囲は拡大が図られる。本実施形態では、この拡大された撮像範囲を少なくとも含む領域を補間用領域として設定する。

本発明は、この補間用領域を位置情報、加速度情報といった移動関連情報に基づいて抽出することを特徴としている。時刻Ｔと時刻Ｔ＋１で取得した画像情報の撮影位置が判別できれば、カメラの画角や遠近感などを考慮することで無効領域に対する補間用領域は予測できる。補間用領域の抽出は、画像情報中での無効領域の位置などに依存して決定される。無効領域Ａは左下寄りに位置しているため補間用領域は、遠近感を考慮して無効領域Ａの中心を左下寄りに偏心させて拡大された領域が抽出される。一方、無効領域Ｂは右上よりに位置しているため、右上よりに偏心させて拡大させた領域が抽出される。

補間用領域は、このように後の時刻の画像情報から無効領域の撮像範囲に相当する領域として抽出されるが、無効領域の撮像範囲よりも大きい範囲を抽出することとしても構わない。大きい範囲を抽出することで、無効領域に対して補間用領域を合成する合成処理において形成する画像の精度向上を図ることができる。

補間用領域の抽出は位置情報、加速度情報といった移動関連情報から算出される移動距離を少なくとも利用することで実行される。図９は、車両走行の特性を示した図であって、図９（ａ）は、移動方向Ａにて直進する車両の時刻Ｔと時刻Ｔ＋１での位置を示した図である。図に示すように時刻ＴとＴ＋１の間に車両は移動距離Ｌだけ進む場合、この移動距離Ｌを利用することで補間用領域が抽出できる。

移動距離Ｌは、位置情報、加速度情報にて算出できる。緯度、経度といった位置情報のみを利用した場合には、移動距離は時刻Ｔと時刻Ｔ＋１の位置情報の差分を取ることで算出できる。移動距離をより正確に算出するため、加速度情報を併せて算出することとしてもよい。また、この移動距離Ｌは、加速度情報のみにても算出することができる。この場合には、過去の加速度情報、並びに、それを取得した計時情報にて算出される。

図９（ｂ）は、時刻Ｔと時刻Ｔ＋１の間に車両の移動方向が移動方向Ａから移動方向Ａ’に変更された場合を示した図である。このように車両の移動方向が変更された場合には、前方カメラで撮影される方向も変更されることとなる。この場合、車両の移動方向の変更を考慮して補間用領域の抽出を行うことで、より正確に無効領域に対応する補間用領域の抽出が可能となる。車両の移動方向は、位置情報の履歴や、加速度情報、あるいはその両方に基づいて算出、予測することができる。また、このような車両の左右方向についての方向の変更のみならず、段差を通行することで発生する上下方向の方向の変更を考慮することとしてもよい。この場合、上下方向に関する加速度情報を用いて方向の検出が可能となる。

また、図９（ｂ）のように車両が移動方向を変更した場合においても移動距離Ｌ’のみで補間用領域を抽出することとしてもよい。これは、車両は急激に方向を変更することができないという車両の走行特性や、撮像間隔が短い場合においては、車両の左右方向の変化量が車両の前後方向の変化量に対して小さいものであることを理由としている。

以上、説明したように、画像情報に無効領域が含まれる場合には、時間軸で後の画像情報において、無効領域に対応する補間用領域が移動関連情報によって抽出される。図１０（ｂ）、図１０（ｂ）は、時刻Ｔ＋１における画像情報から補間用領域が抽出される様子が模式的に示されている。

図６の補間処理のフロー図に戻り、Ｓ２０６では、抽出された補間用領域と基本画像の合成処理が実行される。この合成処理は、補間用領域を基本画像の無効領域にあてはめる処理であって、単純に行う場合には、補間用領域を無効領域の大きさに縮小し、無効領域に置き換えることで行われる。図９にはこの合成処理の様子が模式的に示されており、図９（Ａ１）の無効領域を有する基本画像に対し、図９（ｂ）の画像情報から抽出された補間用領域を合成することで出力画像が得られる様子が示されている。このように合成処理では、画像情報中の障害物によって覆われた領域を補間用領域で補正することで、障害物を取り除いた出力画像を形成することが可能となる。

また、この合成処理では、無効領域に合成する補間用領域を変形して合成することとしてもよい。その場合、無効領域の位置や、移動関連情報を利用して変形を行うことで、つなぎ目の目立たない自然な画像として合成することができる。また、補間用領域を無効領域の撮像範囲よりも大きく抽出した場合には、基本画像と補間用領域の相関の大きい位置で合成することでより自然な画像を合成することが可能となる。相関をとる場合においても、補間用領域をあてはめる概略の位置は特定できているため、相関を取る範囲は限定され計算量は抑制される。

合成処理Ｓ２０６が終了すると、Ｓ２０７では、合成された画像内における障害物検出が実行される。このＳ２０７での障害物検出は、Ｓ１０２での処理と同様の処理である。ここでは、基本画像に補間用領域が追加合成されているだけであるため、補間用領域内での障害物検出を行うこととしてもよい。

Ｓ２０８では、Ｓ２０７での障害物検出の結果が判断される。障害物がない場合にはＳ
２１２に移行して補正処理が終了する。一方、障害物が検出された場合には、Ｓ２０９に移行し再度、障害物を含む無効領域が設定される。図１０は、障害物がない場合の処理を示した模式図であって、出力する画像には無効領域がない、すなわち障害物がその背景に置き換えられた出力する画像が形成される様子が示されている。一方、図１１のように障害物が前方を同方向に走行している前方車両の場合には、時刻Ｔ＋１においても障害物が残ることとなる。このような場合には、再度、補間用領域中に無効領域が設定されＳ２０４〜Ｓ２０７の処理が再帰的に実行される。

Ｓ２１０では、Ｓ２０９で設定された無効領域が所定値以下か否かが判定される。この判定には、無効領域の面積や無効領域の所定方向の長さなどが用いられる。所定値以下である場合には、無効領域は視覚上無視できる程度に収まったとして補正処理を終了する。

一方、無効領域が所定値以下でないとした場合には、Ｓ２１０にてＳ２０６の合成処理を行った回数が判定される。所定回数以上である場合には、補正処理を終了する。これは、車両の移動距離の増加に伴い、基本画像に対する補間用領域を抽出するための画像のずれが大きくなり、合成した場合に違和感が生じてしまうことを理由としている。Ｓ２１０にて合成処理がｎ回未満である場合には、Ｓ２０４に戻り、次の時刻の画像情報の抽出が実行される。

図１１は、無効領域が再度出現した場合の処理を示した模式図であって、図１１（ｂ）、（ｃ）から抽出した補間用領域に無効領域が残る場合を示している。このように前方を走行する車両は、概略同じ大きさの障害物となるものの、本実施形態の補正処理を再帰的に行うことで無効領域を段階的に縮小し、障害物のない画像を形成することが可能となる。

以上、特に図６、図１０、図１１を用いて補正処理について説明したが、この補正処理によれば、障害物で隠された領域を異なる時間の画像情報を用いて補正することが可能となる。なお、図６の補正処理のフロー図では、無効領域に対する補間用領域の合成を再帰的に行うこととしたが、補間用領域の合成を一括して行うこととしてもよい。すなわち、最初に検出された無効領域が補間用領域により、無効領域がなくなる、あるいは、無効領域が無視できる程度にまで補正された後に、基本画像と合成することとしてもよい。また、本実施形態では１つの画像中に１つの無効領域が存在する場合を説明したが、無効領域は１つの画像に対して複数検出されるものであってもよい。その場合、補正処理は各無効領域に対して実行される。

図１２には、撮像タイミングと画像処理に利用する画像情報の関係を時系列で示した各種実施形態が示されている。図１２（ａ）の実施形態では、画像情報は、１／３０秒間隔で撮影される動画として取得される。時刻Ｔ１で取得した画像情報は、同時刻の画像を基本画像とし、時刻Ｔ２〜Ｔ４の画像情報を用いて補正処理が実行される。時刻Ｔ２で取得した画像は、時刻Ｔ３とＴ４の画像情報を用いて補正処理が実行される。時刻Ｔ３では、画像情報内に障害物が存在しなかった場合であり、この場合、取得した画像情報がそのまま利用される。このように、本発明の画像処理を利用することで、一連の画像情報を用いて新たに時刻Ｔ１、Ｔ２、Ｔ３時における出力画像を得ることができ、新たな障害物のない動画を形成することも可能となる。

補正処理に利用する画像情報は、必ずしも取得した画像情報を用いる必要は無い。図１２（ｂ）は、図１２（ａ）と同様に１／３０秒間隔で取得された場合であって、補正処理に利用する画像情報を１つおきに利用した場合である。このように補正処理に利用する画
像情報は、適宜間隔を置いたものとしてもよい。このように画像情報間の時間間隔を大きくすることで、画像情報間における障害物の移動量を大きくし補正処理の回数を削減することが可能となる。

また、画像情報の取得間隔は、必ずしも一定間隔とする必要は無い。図１２（ｃ）は、画像の取得間隔を可変とした場合であって、取得間隔は車両の移動状況などに基づいて可変制御される。例えば、車両が一定距離移動する毎に画像情報を取得することが考えられる。このように構成することで、車両が一旦停止した場合などのように、撮像範囲が変化していない場合には画像情報を取得しないようにすることで取得する画像情報の数を削減することが可能となる。特に、画像情報を静止画にて取得する場合に都合がよい。

以上、各種実施形態について、本発明の実施形態に係る画像処理を説明したが、本発明によれば、画像情報内で障害物によって隠蔽された領域を、時間軸で後に位置する画像情報を用いて補正することで、障害物を除去するとともにプライバシーの侵害にも配慮した出力画像を形成することが可能となる。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１１…前方カメラ、１２…加速度センサ、１３…ＧＰＳ、１４…時計、１５…制御部、１６…データベース、２１…データベース、２２…画像処理装置

Claims (7)

1. 画像情報内の障害物を検出する検出処理と、
   検出した障害物を含む領域を画像情報における無効領域に設定する設定処理と、
   画像情報に対応する移動関連情報に基づいて、後の時刻の画像情報から無効領域に対応する補間用領域を抽出する抽出処理と、
   画像情報の無効領域に補間用領域を合成する合成処理を行うことを特徴とする
   画像処理装置。
2. 抽出処理は、移動関連情報により画像情報と後の時刻の画像情報間の移動距離を算出し、移動距離に基づいて補間用領域を抽出する
   請求項１に記載の画像処理装置。
3. 移動関連情報は、画像情報に対応する位置情報を含む
   請求項１または請求項２に記載の画像処理装置。
4. 移動関連情報は、画像情報に対応する加速度情報を含む
   請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 障害物は、車両もしくは歩行者である
   請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 出力画像には、位置情報が付加されている
   請求項１乃至請求項５のいずれか１項に記載の画像形成装置。
7. 画像情報内の障害物を検出する検出処理と、
   検出した障害物を含む領域を画像情報における無効領域に設定する設定処理と、
   画像情報に対応する移動関連情報に基づいて、後の時刻の画像情報から無効領域に対応する補間用領域を抽出する抽出処理と、
   画像情報の無効領域に補間用領域を合成する合成処理を行うことを特徴とする
   画像処理プログラム。

Images