JP2018006889A - 画像処理装置、車載カメラ装置、および画像処理方法 - Google Patents

Abstract

【課題】車両の状態を検出可能な画像処理装置、車載カメラ装置、および画像処理方法を提供する。【解決手段】車載カメラ装置は、撮像素子と、プロセッサと、通信インターフェースと、を備える。撮像素子は、車両の少なくとも一部を撮像した撮像画像を生成する。プロセッサは、撮像画像を用いてエッジ検出処理を実行し、撮像画像上の車両の少なくとも一部におけるエッジの変化に基づいて、車両の状態を判定する。通信インターフェースは、車両の状態の判定結果を示す情報を出力する。【選択図】図１

Description

本発明は、画像処理装置、車載カメラ装置、および画像処理方法に関する。

従来、自動車などの車両の状態を判定する技術が知られている。例えば、特許文献１には、車両のエンジンルームに設けられた水圧センサを用いて車両の水没状態を判定する技術が開示されている。

特開２００２−２７９５９１号公報

従来、車両の水没状態を検出するためのセンサなどを設置可能な車両上の位置には制約がある。例えば、車両の外観面にセンサを設置することは、デザイン上望まれない場合がある。したがって、車両の状態を検出するための構成について改善の余地があった。

本発明の目的は、車両の状態を検出可能な画像処理装置、車載カメラ装置、および画像処理方法を提供することにある。

本発明の一実施形態に係る画像処理装置は、通信インターフェースと、プロセッサと、を備える。通信インターフェースは、車両の少なくとも一部を撮像した撮像画像を取得する。プロセッサは、撮像画像を用いてエッジ検出処理を実行し、撮像画像上の車両の少なくとも一部におけるエッジの変化に基づいて、車両の状態を判定する。

本発明の一実施形態に係る車載カメラ装置は、撮像素子と、プロセッサと、通信インターフェースと、を備える。撮像素子は、車両の少なくとも一部を撮像した撮像画像を生成する。プロセッサは、撮像画像を用いてエッジ検出処理を実行し、撮像画像上の車両の少なくとも一部におけるエッジの変化に基づいて、車両の状態を判定する。通信インターフェースは、車両の状態の判定結果を示す情報を出力する。

本発明の一実施形態に係る画像処理方法は、画像処理装置が実行する画像処理方法である。画像処理方法は、車両の少なくとも一部を撮像した撮像画像を取得するステップと、撮像画像を用いてエッジ検出処理を実行するステップと、撮像画像上の車両の少なくとも一部におけるエッジの変化に基づいて、車両の状態を判定するステップと、を含む。

本発明の一実施形態に係る画像処理装置、車載カメラ装置、および画像処理方法によれば、車両の状態が検出可能となる。

本発明の一実施形態に係る画像処理システムを備えた車両の概略構成を示すブロック図である。 車両を右側方から見た様子を示す図である。 水没状態の車両を右側方から眺めた様子を示す図である。 図３の状態における右サイドカメラの撮像画像の一部領域を示す図である。 水没状態であって水平面に対し車体が傾いた状態の車両を右側方から眺めた様子を示す図である。 図５の状態における右サイドカメラの撮像画像の一部領域を示す図である。 画像処理装置の動作を示すフローチャートである。 車両の側面上で検出され得る第１エッジの例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

（画像処理システムおよび車両の構成）
図１を参照して、本発明の一実施形態に係る画像処理システム１０を備える車両１１について説明する。画像処理システム１０は、１個以上の撮像装置１２と、画像処理装置１３と、を備える。１個以上の撮像装置１２それぞれと画像処理装置１３とは、例えば有線または無線を介して通信可能に接続される。

本実施形態において、画像処理システム１０は、４個の撮像装置１２を備える。以下、４個の撮像装置１２をそれぞれ区別する場合には、フロントカメラ１２ａ、リアカメラ１２ｂ、左サイドカメラ１２ｃ、および右サイドカメラ１２ｄともいう。

フロントカメラ１２ａは、車両１１の前方の周辺領域と、車両１１の前側面の少なくとも一部とを同時に撮像可能となるように、車両１１に設置される。リアカメラ１２ｂは、車両１１の後方の周辺領域と、車両１１の後側面の少なくとも一部とを同時に撮像可能となるように、車両１１に設置される。左サイドカメラ１２ｃは、車両１１の左側方の周辺領域と、車両１１の左側面の少なくとも一部とを同時に撮像可能となるように、例えば左サイドミラーに設置される。右サイドカメラ１２ｄは、車両１１の右側方の周辺領域と、車両１１の右側面の少なくとも一部とを同時に撮像可能となるように、例えば右サイドミラーに設置される。左サイドミラーおよび右サイドミラーは、光学ミラーを含む構成であってもよく、例えばディスプレイなどを用いた電子ミラーを含む構成であってもよい。

撮像装置１２は、例えば魚眼レンズなどの画角の広いレンズを備える。例えば、図２に示す右サイドカメラ１２ｄは、およそ１８０度の画角１４を有する。右サイドカメラ１２ｄが撮像可能である車両１１の右側面の少なくとも一部には、例えば右側前輪と、右側後輪と、車体の外観面の一部と、が含まれる。車両１１に設置される撮像装置１２の仕様、数、および配置は、上述した構成に限られない。

撮像装置１２は、生成した撮像画像を画像処理装置１３へ出力する。撮像装置１２は、従来公知の多様な車載カメラシステムに対しても、撮像画像を出力可能であってよい。車載カメラシステムには、例えば車両１１の周辺領域の撮像画像をディスプレイに表示するシステム、および車両１１の周辺領域の撮像画像に基づいて車両１１の周囲に存在する障害物を検出するシステムなどが含まれ得る。このように、撮像装置１２は、従来公知の多様な車載カメラシステムに流用可能である。あるいは、従来公知の車載カメラシステムに含まれる車載カメラ装置が、本実施形態に係る撮像装置１２として利用可能であってもよい。

画像処理装置１３は、車両１１における任意の位置に設置される。画像処理装置１３は、撮像装置１２が生成した撮像画像に基づいて、車両１１の状態を判定する。本実施形態において、画像処理装置１３は、車両１１の少なくとも一部が水没もしくは雪などに埋没した第１状態と、水没も埋没もしていない第２状態と、を判定可能である。画像処理装置１３が判定可能な車両１１の状態には、車両１１の姿勢が含まれてもよい。車両１１の姿勢は、例えば重力が働く方向に垂直な水平面に対する車両１１の前後方向の傾きαおよび左右方向の傾きβの少なくとも一方を含む。画像処理装置１３の動作の詳細については後述する。

以下、画像処理システム１０の各構成要素について具体的に説明する。

（撮像装置の構成）
撮像装置１２は、例えば図１に示すように、撮像光学系１５と、撮像素子１６と、第１通信インターフェース１７と、第１メモリ１８と、第１プロセッサ１９と、を備える。

撮像光学系１５は、例えば１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系１５は、被写体像を撮像素子１６の受光面に結像させる。

撮像素子１６は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子１６は、受光面上に複数の画素が配列されており、受光面上に結像された被写体像を撮像して撮像画像を生成する。

第１通信インターフェース１７は、有線または無線介して外部装置と通信可能なインターフェースである。第１通信インターフェース１７は、例えば車両１１に搭載されたＣＡＮ（Controller Area Network）を介して通信可能であってもよい。本実施形態において、外部装置には、画像処理装置１３が含まれる。しかしながら、外部装置には、例えば車両１１に備えられたＥＣＵ（Electronic Control Unit）、ディスプレイ、およびナビゲーション装置などが含まれてもよい。

第１メモリ１８は、例えば一次記憶装置または二次記憶装置などを含む。第１メモリ１８は、撮像装置１２の動作に必要な種々の情報およびプログラムを記憶する。

第１プロセッサ１９は、例えばＤＳＰ（Digital Signal Processor）などの専用プロセッサまたはＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。第１プロセッサ１９は、撮像装置１２全体の動作を制御する。

例えば、第１プロセッサ１９は、撮像素子１６の動作を制御して、周期的に、例えば３０ｆｐｓで撮像画像を生成する。第１プロセッサ１９は、撮像素子１６によって生成された撮像画像に対して、ホワイトバランス調整処理、露出調整処理、およびガンマ補正処理など、所定の画像処理を施す。所定の画像処理は、現在のフレームの撮像画像に対して行われてもよく、次回以降のフレームの撮像画像に対して行われてもよい。第１プロセッサ１９は、所定の画像処理が施された撮像画像を、第１通信インターフェース１７を介して画像処理装置１３へ出力する。

例えば、第１プロセッサ１９は、第１通信インターフェース１７を介して他の撮像装置１２との間で同期信号を送受信可能であってもよい。同期信号によって、１個の撮像装置１２と１個以上の他の撮像装置１２との間で撮像タイミングが同期可能である。

（画像処理装置の構成）
画像処理装置１３は、第２通信インターフェース２０と、第２メモリ２１と、第２プロセッサ２２と、を備える。

第２通信インターフェース２０は、有線または無線介して外部装置と通信可能なインターフェースである。第２通信インターフェース２０は、例えば車両１１に搭載されたＣＡＮを介して通信可能であってもよい。本実施形態において、外部装置には、撮像装置１２が含まれる。しかしながら、外部装置には、例えば車両１１に備えられたＥＣＵ、ディスプレイ、およびナビゲーション装置などが含まれてもよい。

第２メモリ２１は、例えば一次記憶装置または二次記憶装置などを含む。第２メモリ２１は、画像処理装置１３の動作に必要な種々の情報およびプログラムを記憶する。

第２プロセッサ２２は、例えばＤＳＰなどの専用プロセッサまたはＣＰＵなどの汎用プロセッサを含む。第２プロセッサ２２は、画像処理装置１３全体の動作を制御する。

例えば、第２プロセッサ２２は、第２通信インターフェース２０を介して、１個以上の撮像装置１２それぞれから、車両１１の少なくとも一部を撮像した撮像画像を取得する。第２プロセッサ２２は、取得された撮像画像を用いてエッジ検出処理を実行する。エッジ検出処理によって、車両１１の輪郭線、および後述するように水面と車両１１との境界線などがエッジとして検出され得る。第２プロセッサ２２は、エッジ検出処理の結果に基づいて、車両１１の状態を判定する。以下、一例として、第２プロセッサ２２が右サイドカメラ１２ｄの撮像画像を用いて車両１１の状態を判定する構成について具体的に説明する。

図３を参照して、水平面に対して傾いていない車両１１が水没または雪などで埋没した状態（第１状態）について説明する。車両１１に備えられた右サイドカメラ１２ｄは、車両１１の周囲の水面２３よりも上に存在している。車両１１が水没も埋没もしていない状態（第２状態）から第１状態になると、右サイドカメラ１２ｄの撮像画像において、例えば図４に示すように、車両１１の右側面上に水面と車両１１との境界線が生じる。

第２プロセッサ２２は、撮像画像上の車両１１の少なくとも一部におけるエッジの変化に基づいて、車両１１の状態を判定する。具体的には、第２プロセッサ２２は、エッジ検出処理が施された撮像画像における車両１１の外観面上に延びる第１エッジ２４が出現したか否かを判定する。エッジの出現とは、水没していない車両１１の撮像画像上では検出されないエッジが検出されることを含む。エッジ検出処理には、例えばキャニー法およびハフ変換を用いるアルゴリズムなど、任意のアルゴリズムが採用可能である。例えば、実験またはシミュレーションによって、第１エッジの出現の検出精度が向上するようにエッジ検出処理のアルゴリズムが調整されてよい。第１エッジ２４が出現したと判定された場合、第２プロセッサ２２は、車両１１が第１状態であると判定する。

車両１１の状態を判定するアルゴリズムは、上述した構成に限られない。例えば図４に示すように、車両１１が水没すると、右サイドカメラ１２ｄの撮像画像において水面よりも下側に存在する車両１１の輪郭線が不鮮明になる。第２プロセッサ２２は、エッジ検出処理が施された撮像画像における車両１１の輪郭線に相当する第２エッジ２５の一部が消滅したか否かを判定してもよい。エッジの消滅とは、水没していない車両１１の撮像画像上では検出されるエッジが検出されないことを含む。例えば実験またはシミュレーションによって、第２エッジ２５の一部の消滅の検出精度が向上するように、エッジ検出処理のアルゴリズムが調整されてよい。第２エッジ２５の一部が消滅したと判定された場合、第２プロセッサ２２は、車両１１が第１状態であると判定する。

あるいは、第２プロセッサ２２は、エッジ検出処理が施された撮像画像において、第２エッジ２５の一部の消滅によって出現した第２エッジ２５の複数の端部２６を通過する線分を算出してもよい。かかる場合、第２プロセッサ２２は、当該線分を第１エッジ２４として検出してよい。

第２プロセッサ２２は、車両１１の状態として、車両１１の姿勢を判定してもよい。例えば、第２メモリ２１は、右サイドカメラ１２ｄの撮像画像上の車両１１に対する第１エッジ２４の相対的位置と、車両１１の姿勢との対応関係を示す対応情報を予め記憶する。ここで車両１１の姿勢は、例えば水平面に対する車両１１の前後方向の傾きαを含む。対応情報の詳細については後述する。第２プロセッサ２２は、右サイドカメラ１２ｄの撮像画像上の車両１１に対する第１エッジ２４の相対的位置を検出する。第２プロセッサ２２は、第２メモリ２１に記憶された対応情報を用いて、検出された当該相対的位置に対応する角度αを、車両１１の姿勢として判定する。

対応情報は、例えば実験またはシミュレーションによって予め決定可能である。例えば、車両１１の傾きαと、車両１１周囲の水位とをそれぞれ変化させながら、右サイドカメラ１２ｄに複数の撮像画像を生成させる実験またはシミュレーションが考えられる。例えば図５に示すように車両１１の前後方向の傾きがα≠０であるとき、右サイドカメラ１２ｄの撮像画像上の車両１１に対する第１エッジ２４の相対的位置は、例えば図６に示すように、傾きがα＝０であるときの相対的位置２７とは異なる。したがって、車両１１の傾きα、車両１１の水位、および車両１１に対する第１エッジ２４の相対的位置を対応付けることによって、対応情報が決定される。

第２プロセッサ２２は、例えば図８に示すように、水平面に対する車両１１の前後方向の角度αおよび左右方向の角度βを、車両１１の姿勢として判定してもよい。角度βは、例えば車両１１の前側面の少なくとも一部を撮像した、フロントカメラ１２ａの撮像画像を用いて判定可能である。角度βを判定するアルゴリズムは、上述した角度αを判定するアルゴリズムと同様であるため、説明を省略する。

第２プロセッサ２２は、上述のように車両１１の状態を判定すると、車両１１の状態の判定結果を示す判定結果情報を外部装置へ出力してもよい。判定結果情報は、車両１１が第１状態および第２状態の何れであるかを示す情報、ならびに、車両１１の姿勢を示す情報を含み得る。例えば、第２プロセッサ２２は、車両１１が第１状態であると判定したときに、車両１１に搭載された通信装置へ判定結果情報を出力することによって、当該通信装置に救助信号を報知させてもよい。

図７を参照して、画像処理装置１３の上述した動作について説明する。本動作は、例えば撮像画像が生成される各フレームについて行われてもよく、所定間隔を開けて周期的に行われてもよい。

ステップＳ１００：第２通信インターフェース２０は、車両１１の少なくとも一部を撮像した撮像画像を撮像装置１２から取得する。

ステップＳ１０１：第２プロセッサ２２は、取得された撮像画像を用いてエッジ検出処理を実行する。

ステップＳ１０２：第２プロセッサ２２は、エッジ検出処理の検出結果が所定の条件を満たすか否かを判定する。所定の条件は、エッジ検出処理が施された撮像画像における車両１１の外観面上に延びる第１エッジ２４が出現したとの条件を含んでよい。所定の条件は、エッジ検出処理が施された撮像画像における車両１１の輪郭線に相当する第２エッジ２５の一部が消滅したとの条件を含んでよい。検出結果が所定の条件を満たすと判定された場合（ステップＳ１０２−Ｙｅｓ）、プロセスはステップＳ１０３へ進む。一方、検出結果が所定の条件を満たさないと判定された場合（ステップＳ１０２−Ｎｏ）、プロセスはステップＳ１０５へ進む。

ステップＳ１０３：ステップＳ１０２で検出結果が所定の条件を満たすと判定された場合（ステップＳ１０２−Ｙｅｓ）、第２プロセッサ２２は、車両１１が水没または埋没した第１状態であると判定する。

ステップＳ１０４：第２プロセッサ２２は、撮像画像上の車両１１に対する第１エッジ２４の相対的位置に基づいて、車両１１の姿勢を判定する。その後、プロセスはステップＳ１０６へ進む。

ステップＳ１０５：ステップＳ１０２で検出結果が所定の条件を満たさないと判定された場合（ステップＳ１０２−Ｎｏ）、第２プロセッサ２２は、車両１１が水没も埋没もしていない第２状態であると判定する。

ステップＳ１０６：第２プロセッサ２２は、ステップＳ１０３およびＳ１０４の判定結果、またはステップＳ１０５の判定結果を示す判定結果情報を出力する。

以上述べたように、本発明の一実施形態に係る画像処理装置１３は、車両１１の少なくとも一部を撮像した撮像画像上の車両１１の少なくとも一部におけるエッジの変化に基づいて、車両１１の状態を判定する。このように、例えば水没状態など、特定の状態である車両１１を撮像した撮像画像に基づいて当該特定の状態が判定されるので、車両１１の状態が精度良く判定可能となる。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、画像処理装置１３の構成および機能の一部または全部が、画像処理システム１０が備える１個以上の撮像装置１２のうちの１つに具備されてもよい。

上述した実施形態において、画像処理装置１３が、右サイドカメラ１２ｄおよびフロントカメラ１２ａの撮像画像を用いて、水平面に対する車両１１の前後方向の角度αおよび左右方向の角度βを車両１１の姿勢として判定する構成について説明した。しかしながら、画像処理装置１３は、車両１１の第１部分を撮像した第１撮像画像と、車両１１の第１部分とは異なる第２部分を撮像した第２撮像画像とを用いることができる。画像処理装置１３は、第１撮像画像および第２撮像画像を用いて、水平面に対する車両１１の第１方向の第１角度、および第１方向とは異なる第２方向の第２角度を、車両１１の姿勢として判定する。

上述の実施形態に係る画像処理システム１０の各構成要素は、例えば携帯電話またはスマートフォンなどの情報処理装置として実現され、車両１１と有線または無線によって接続されてもよい。

１０ 画像処理システム
１１ 車両
１２ 撮像装置
１２ａ フロントカメラ
１２ｂ リアカメラ
１２ｃ 左サイドカメラ
１２ｄ 右サイドカメラ
１３ 画像処理装置
１４ 画角
１５ 撮像光学系
１６ 撮像素子
１７ 第１通信インターフェース
１８ 第１メモリ
１９ 第１プロセッサ
２０ 第２通信インターフェース
２１ 第２メモリ
２２ 第２プロセッサ
２３ 水面
２４ 第１エッジ
２５ 第２エッジ
２６ 端部
２７ 相対的位置

Claims (6)

1. 車両の少なくとも一部を撮像した撮像画像を取得する通信インターフェースと、
   前記撮像画像を用いてエッジ検出処理を実行し、前記撮像画像上の前記車両の少なくとも一部におけるエッジの変化に基づいて、前記車両の状態を判定するプロセッサと、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記プロセッサは、前記撮像画像における前記車両の外観面上に延びる第１エッジの出現に基づいて、前記車両の状態を判定する、画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記プロセッサは、前記撮像画像における前記車両の輪郭線に相当する第２エッジの一部の消滅に基づいて、前記車両の状態を判定する、画像処理装置。
4. 請求項１乃至３の何れか一項に記載の画像処理装置であって、
   前記通信インターフェースは、前記車両の第１部分を撮像した第１撮像画像と、前記車両の第２部分を撮像した第２撮像画像とを取得し、
   前記プロセッサは、前記第１撮像画像および前記第２撮像画像を用いて、前記車両の状態を判定する、画像処理装置。
5. 車両の少なくとも一部を撮像した撮像画像を生成する撮像素子と、
   前記撮像画像を用いてエッジ検出処理を実行し、前記撮像画像上の前記車両の少なくとも一部におけるエッジの変化に基づいて、前記車両の状態を判定するプロセッサと、
   前記車両の状態の判定結果を示す情報を出力する通信インターフェースと、
   を備える、車載カメラ装置。
6. 画像処理装置が実行する画像処理方法であって、
   車両の少なくとも一部を撮像した撮像画像を取得するステップと、
   前記撮像画像を用いてエッジ検出処理を実行するステップと、
   前記撮像画像上の前記車両の少なくとも一部におけるエッジの変化に基づいて、前記車両の状態を判定するステップと、
   を含む、画像処理方法。
   

Images