JP2019050462A - 映り込み判定装置及び撮影装置 - Google Patents

Abstract

【課題】車載カメラの撮像画像におけるガラスの映り込みを好適に判定する。【解決手段】映り込み判定装置（３００）は、車両の内部からガラス越しに外部環境を撮影可能であり、ガラスの映り込みを防止する映り込み防止手段（２００）を備えるカメラ（１００）の映り込みを判定する。映り込み判定装置は、カメラの撮像画像における映り込みが防止されていない領域のオプティカルフローを算出する算出手段（３１０）と、オプティカルフローが所定閾値（Ｖ１）よりも小さい点によって規定される特定領域が所定時間（Ｔ）以上継続して検出された場合に、カメラの撮像画像に映り込みが発生していると判定する判定手段（３２０）とを備える。【選択図】図１

Description

本発明は、車両に搭載されたカメラに対するガラスの映り込みを判定する映り込み判定装置及び該映り込み判定装置を備える撮影装置の技術分野に関する。

この種の装置として、車載カメラで撮像した画像における車両のフロントウィンドウへのダッシュボード等の映り込みを判定する装置が知られている。例えば特許文献１では、車載カメラを基準カメラと比較カメラとの二眼で構成し、基準カメラで撮像した基準画像と比較カメラで撮像した比較画像との視差データを用いて、基準画像内に含まれる非障害物画像（即ち、映り込んだ物体）を推定するという装置が開示されている。

特開２０１０−１４６２８４号公報

しかしながら、上述した特許文献１に記載されている技術は、カメラが二眼構成であることが必須条件となっている。このため、単眼カメラに当該技術を採用することはできないという技術的問題点がある。

本発明は、上記問題点に鑑みてなされたものであり、車両に搭載されるカメラの撮像画像におけるガラスの映り込みを好適に判定することが可能な映り込み判定装置及び撮影装置を提供することを課題とする。

本発明の映り込み判定装置は上述した課題を解決するために、車両の内部からガラス越しに前記車両の外部環境を撮影可能であり、前記ガラスの映り込みを防止する映り込み防止手段を備えるカメラの映り込み判定装置であって、前記カメラの撮像画像における前記映り込み防止手段によって映り込みが防止されていない領域のオプティカルフローを算出する算出手段と、前記オプティカルフローが所定閾値よりも小さい点によって規定される特定領域が所定時間以上継続して検出された場合に、前記カメラの撮像画像に映り込みが発生していると判定する判定手段とを備える。

本発明の撮影装置は上述した課題を解決するために、車両の内部からガラス越しに前記車両の外部環境を撮影するカメラと、前記カメラの撮像画像における一部の領域への前記ガラスの映り込みを防止するカメラフードと、（ｉ）前記カメラの撮像画像における前記映り込み防止手段によって映り込みが防止されていない領域のオプティカルフローを算出し、（ｉｉ）前記オプティカルフローが所定閾値よりも小さい点によって規定される特定領域が所定時間以上継続して検出された場合に、前記カメラの撮像画像に映り込みが発生していると判定する映り込み判定装置とを備える。

本実施形態に係る撮影装置の構成を示す側面図である。 カメラフードの形状とカメラの撮像範囲を示す上面図である。 映り込みが防止されていない外側領域における映り込みの発生を示す平面図である。 映り込み判定動作の流れを示すフローチャートである。 オプティカルフローの判定動作の流れを示すフローチャートである。 オプティカルフローの判定動作の各処理を順に示す概念図である。

以下、図面を参照して映り込み判定装置及び撮影装置の実施形態について説明する。

＜装置構成＞
まず、本実施形態に係る撮影装置の構成について、図１及び図２を参照して説明する。図１は、本実施形態に係る撮影装置の構成を示す側面図である。図２は、カメラフードの形状を示す上面図である。

図１に示すように、本実施形態に係る撮影装置は、車両のフロントウィンドウ１０越しに車両の外部環境（具体的には、車両前方の様子）を撮影可能に構成されている。撮影装置によって撮影された画像は、例えば障害物の検出等に利用される。

本実施形態に係る撮影装置は、カメラ１００、カメラフード２００及び映り込み判定装置３００を備えている。カメラ１００は、カメラ本体部１１０及びレンズ１２０を含んで構成されている。カメラ１００におけるレンズ１２０の下側には、カメラフード２００が取付けられている。カメラフード２００は、後述する付記における「映り込み防止手段」の一具体例であり、フロントウィンドウ１０におけるカメラの撮像範囲に含まれる領域と、図示せぬダッシュボード等との間を遮るように配置されることで、撮像画像に映り込みが発生するのを防止する。映り込み判定装置３００は、例えば車両に搭載されるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）として構成されており、その内部に論理的に実現される処理ブロックとして、オプティカルフロー算出部３１０及び映り込み判定部３２０を備えている。オプティカルフロー算出部３１０及び映り込み判定部３２０各々の動作については、後に詳しく説明する。

図２に示すように、車両の真上からの視点で見ると、カメラフード２００がカメラ１００の撮像範囲全てをカバーしていないことが分かる。即ち、カメラ１００の撮像範囲には、カメラフード２００によって映り込みが防止されている領域が含まれる一方で、映り込みが防止されていない領域も含まれている。なお、カメラフード２００を大きくすれば、その分だけ映り込みが防止されている領域を大きくすることができるが、カメラ１００の撮像範囲を全てカバーするような大きさにすると、車両の搭乗者の視界を狭めてしまうおそれがある。このため、カメラフード２００を大きくし過ぎるのは好ましくない。

＜撮像画像における映り込み＞
次に、撮像画像に発生するガラスの映り込みについて、図３を参照して具体的に説明する。図３は、カメラフードによって映り込みが防止されていない外側領域における映り込みの発生を示す平面図である。

図３に示すように、カメラ１００の撮像画像には、カメラフード２００によって映り込みが防止されている領域に対応する内側領域Ａ１と、映り込みが防止されていない領域（即ち、カメラフード２００が設けられていない領域）に対応する外側領域Ａ２が存在する。内側領域Ａ１は、後述する付記における「中央領域」の一具体例である。外側領域Ａ２では、例えば車両のダッシュボード等に物が置かれていると、その物がフロントウィンドウ１０に映り込み、図に示すような映り込みオブジェクト５００が撮像画像内に発生してしまう。

映り込みオブジェクト５００は、カメラ１００の撮像画像を用いた各種制御に悪影響を与える可能性があるため、撮像画像内に映り込みオブジェクト５００が存在する状態が継続されるのは好ましくない。本実施形態に係る映り込み判定装置３００は、このような映り込みの発生を判定するために、オプティカルフローを用いた映り込み判定動作を行う。以下では、簡単に映り込み判定動作の原理について説明する。

オプティカルフローは、撮像画像内に存在している物体の移動ベクトルを示すものであり、過去の撮像画像と現在の撮像画像とを比較することで算出される。ここで、図３を見ても分かるように、映り込みが防止されていない外側領域Ａ２には、車両前側方に存在する物体が映る。車両前側方に存在する物体は、車両の走行に応じて大きく移動することになるため、車両走行中はオプティカルフローの値（フロー値）が比較的大きな値として算出される。一方で、映り込みオブジェクト５００は、車両が走行している場合でも殆ど移動しない。よって、映り込みオブジェクト５００に対応する領域のフロー値は極めて小さい値となる。このように、オプティカルフローの大小を利用すれば、映り込みの発生を好適に判定することができる。

なお、映り込みが防止されている内側領域Ａ１には、車両前方に存在する物体が映る。車両前方に存在する物体は、車両が走行している場合であっても大きく動かない場合がある。このため、オプティカルフローの値は比較的小さな値となる可能性があり、映り込みオブジェクト５００のフロー値との間に明確な差が生じないおそれがある。しかしながら、本実施形態に係る撮影装置では、撮像画像の中央付近に位置する内側領域Ａ１に関しては、カメラフード２００によって映り込みが防止されている。よって、内側領域Ａ１において映り込みは発生し得ない。このため、映り込み判定を行うのは、映り込みが防止されていない外側領域Ａ２のみでよく、上述した不都合は発生しない。

＜映り込み判定動作＞
次に、本実施形態に係る映り込み判定装置３００が実行する映り込み判定動作について、図４を参照して具体的に説明する。図４は、映り込み判定動作の流れを示すフローチャートである。

図４に示すように、本実施形態に係る映り込み判定装置３００の動作時には、まず車速がＳｋｍ以上であるか否かを判定する（ステップＳ１１）。ここでの速度Ｓは、後述する付記における「所定速度」の一具体例であり、車両外部の物体のフロー値と映り込みオブジェクト５００のフロー値との間に明確な差が生じる程度の速度として設定されている。車速がＳｋｍ以上でない場合（ステップＳ１１：ＮＯ）、車両外部の物体の移動速度も小さくなり、オプティカルフローを算出しても映り込みの判定を行えない可能性があるため、以降の処理は省略される。この場合、所定期間後に再び最初から映り込み判定動作の処理が開始されてもよい。

車速がＳｋｍ以上である場合（ステップＳ１１：ＹＥＳ）、オプティカルフロー算出部３１０（図１参照）が、撮像画像の各点におけるオプティカルフローを算出する（ステップＳ１２）。なお、すでに説明したように、内側領域Ａ１においては映り込みが発生し得ないため、オプティカルフローの算出は、映り込みの発生が防止されていない外側領域Ａ２でのみ実行される。オプティカルフローは、画素単位で算出されてもよいし、複数の画素からなる画素群単位で算出されてもよい。オプティカルフロー算出部３１０が算出したフロー値は、映り込み判定部３２０に出力される。

映り込み判定部３２０は、算出されたオプティカルフローの値が、映り込みが発生していると判定できる程度に小さいか否かを判定する（ステップＳ１３）。以下では、ステップＳ１３のオプティカルフローの判定動作について、図５及び図６を参照して詳細に説明する。図５は、オプティカルフローの判定動作の流れを示すフローチャートである。図６は、オプティカルフローの判定動作の各処理を順に示す概念図である。

図５及び図６に示すように、オプティカルフローの判定動作時には、まずオプティカルフローを算出した全ての点の中から、フロー値がＶ１未満である点を抽出して数をカウントする（ステップＳ２１）。ここでのＶ１は、後述する付記における「所定閾値」の一具体例であり、判定対象となる点を含む領域が映り込みオブジェクト５００である可能性が高いと判断できる程度にフロー値が小さいか否かを判定するための閾値である。

続いて、カウントされた点数がＣより多いか否かを判定する（ステップＳ２２）。ここでのＣは、フロー値がＶ１より小さい点が、物体の存在を示す領域を形成する程度に多く存在しているか否かを判定するための閾値として設定されている。カウントされた点数がＣより多くない場合（ステップＳ２２：ＮＯ）、映り込みオブジェクト５００となり得るような領域は存在しない（例えば、測定ノイズ等の影響で一部のフロー値が誤って大きく算出されている状態）と判断できるため、「フロー値が大きい」という判定結果を出力して（ステップＳ２７）、一連の処理が終了する。

他方、カウントされた点数がＣより多い場合（ステップＳ２２：ＹＥＳ）、フロー値が小さい点がまとまって検出されており、映り込みオブジェクト５００である可能性が高い領域が存在していると判断できる。よって、この場合にはフロー値がＶ１より小さい点によって規定される領域を抽出する処理を実行する（ステップＳ２３）。図６に示すように、領域の抽出処理では、フロー値がＶ１未満となる点を互いに繋いでいくことで領域が抽出される。ここで抽出される領域は、後述する付記における「特定領域」の一具体例である。

領域が抽出した後は、領域内に含まれる全ての点のフロー値の平均値及び分散値を算出する（ステップＳ２４）。なお、ステップＳ２３において複数の領域が検出された場合、ステップＳ２４以降の処理は領域毎に実行される。

続いて、平均値がＶ２より小さく、且つ分散値がＢよりも小さいという条件が満たされているか否かを判定する（ステップＳ２５）。仮に、抽出された領域が映り込みオブジェクト５００である場合、領域内に含まれる各点のフロー値は概ね同じ値となるはずであり、フロー値の平均値はある程度低くなり、バラツキを示す分散値も小さくなると考えられる。よって、上記条件を満たすか否かを判定することで、抽出された領域が映り込みオブジェクト５００である可能性の高さを判定できる。

具体的には、閾値Ｖ２は、ステップＳ２１で利用したＶ１よりもやや大きい値として設定されており、領域内に存在する各点のフロー値が概ねＶ１程度に収まっているか否かを判定するために用いられる。平均値がＶ２より大きい場合には、領域内にＶ１を大きく超える点、或いはＶ１をわずかに超える多数の点が存在していると推定できるため、映り込みオブジェクト５００である可能性は低いと判断できる。一方で、平均値がＶ２より小さい場合には、領域内にＶ１を大きく超える点は存在せず、Ｖ１をわずかに超える点があったとしても多数ではないと推定できるため、映り込みオブジェクト５００である可能性が高いと判断できる。

また、閾値Ｂは、領域内に存在する各点のフロー値がある程度の範囲内に収まっているか否かを判定するために用いられる。分散値がＢより大きい場合には、領域内の各点のバラツキが大きいため、映り込みオブジェクト５００である可能性は低いと判断できる。一方で、分散値がＢより小さい場合には、領域内の各点のバラツキが小さいため、映り込みオブジェクト５００である可能性は低いと判断できる。

以上の結果、平均値がＶ２より小さく、且つ分散値がＢよりも小さいという条件が満たされている場合には、「フロー値が小さい」という判定結果を出力する（ステップＳ２６）。一方、平均値がＶ２より小さく、且つ分散値がＢよりも小さいという条件が満たされていない場合には、「フロー値が大きい」という判定結果を出力する（ステップＳ２７）。

図４に戻り、上述したオプティカルフローの判定動作によって、フローの値が小さいと判定された場合（ステップＳ１３：ＹＥＳ）、映り込み判定部３２０は、オプティカルフローの値が小さい領域が検出されている継続時間（初期値＝０）をインクリメントする（ステップＳ１４）。一方、フロー値が小さくない（即ち、大きい）と判定された場合（ステップＳ１３：ＮＯ）、映り込み判定部３２０は、オプティカルフローの値が小さい領域が検出されている継続時間を初期化する（ステップＳ１５）。

続いて、映り込み判定部３２０は、現時点での継続時間がＴより大きいか否かを判定する（ステップＳ１６）。なお、ここでのＴは、後述する付記における「所定時間」の一具体例であり、誤判定（即ち、映り込みが発生していないのに映り込みが発生していると判定してしまう状況）を回避するための閾値として予め設定されている。継続時間がＴより大きいか否かを判定すれば、瞬間的に小さいオプティカルフローが算出された場合に、誤って映り込みが発生していると判定されてしまうことを防止できる。実際に映り込みが発生している場合には、映り込みが解消されない限りオプティカルフローは小さいままとなるので、オプティカルフローの値が小さい領域が閾値Ｔ以上継続して検出され続けているか否かを判定することで、より正確に映り込みの発生を判定することができる。

継続時間がＴより大きくないと判定された場合には（ステップＳ１６：ＮＯ）、ステップＳ１１から処理が繰り返される。このように繰り返し処理を実行することで、オプティカルフローの値が小さい領域が検出され続けている場合には、継続時間が少しずつ増えていき、いずれ閾値Ｔより大きくなる。一方で、オプティカルフローの値が小さい領域が途中で検出されなくなってしまった場合には、その時点で継続時間がゼロに初期化されるため、閾値Ｔを超えることはない。継続時間がＴより大きいと判定された場合（ステップＳ１６：ＹＥＳ）、映り込み判定部３２０は、撮像画像に映り込みが発生していると判断し、映り込み発生フラグをＯＮにする（ステップＳ１７）。映り込み発生フラグがＯＮの場合、例えば車両の搭乗者に対して映り込みを解消するように音声や画像による警告が行われる。

以上説明したように、本実施形態に係る撮影装置によれば、撮像画像のオプティカルフローを利用して、好適に映り込みの発生を判定することができる。また、オプティカルフローを用いて映り込みの発生を判定することが難しい領域（具体的には、車両外部の物体の移動速度が遅くなる撮像画像の内側領域Ａ１）については、カメラフード２００によって映り込みの発生が防止されている。従って、映り込み判定動作は、オプティカルフローを用いて映り込みの発生を判定することが容易な領域（具体的には、車両外部の物体の移動速度が早くなる撮像画像の外側領域Ａ２）のみで行えばよく、極めて正確に映り込みの発生を判定することが可能である。

＜付記＞
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。

（付記１）
付記１に記載の映り込み判定装置は、車両の内部からガラス越しに前記車両の外部環境を撮影可能であり、前記ガラスの映り込みを防止する映り込み防止手段を備えるカメラの映り込み判定装置であって、前記カメラの撮像画像における前記映り込み防止手段によって映り込みが防止されていない領域のオプティカルフローを算出する算出手段と、前記オプティカルフローが所定閾値よりも小さい点によって規定される特定領域が所定時間以上継続して検出された場合に、前記カメラの撮像画像に映り込みが発生していると判定する判定手段とを備える。

付記１に記載の映り込み判定装置によれば、カメラが映り込み防止手段を備えているため、撮像画像における一部領域についてはガラスの映り込みが防止されている。一方で、映り込み防止手段によって映り込みが防止されていない領域（即ち、映り込みが発生し得る領域）も存在する。

映り込み判定装置の動作時には、まず映り込みが防止されていない領域のオプティカルフローが算出される。そして、オプティカルフローが所定閾値よりも小さい点（具体的には、画素又は小規模な画素群の代表点）によって規定される特定領域が所定時間以上継続して検出された場合に、カメラの撮像画像に映り込みが発生していると判定される。なお、「所定閾値」は、撮像画像内に存在する物体がほとんど移動していないと判断できる程度にオプティカルフローが小さいか否かを判定するための閾値である。

撮像画像において、車両の外部に存在する物体は、車両の走行に応じて大きく比較的早いスピードで移動していくため、車両外部の物体が映っている領域のオプティカルフローは大きくなる。一方で、映り込みが発生している領域（言い換えれば、車両内部の物体が映っている領域）は、撮像された物体がほぼ動かないため、オプティカルフローは極端に小さくなる。よって、オプティカルフローが所定閾値よりも小さい点によって規定される特定領域は、映り込みが発生している領域である可能性が高いと判断できる。

ただし、オプティカルフローが所定閾値よりも小さい点によって規定される特定領域を即座に映り込みと判定してしまうと、瞬間的にオプティカルフローが小さくなった領域についても、映り込みが発生していると誤判定されてしまう可能性がある。このため、所定時間以上継続して特定領域が検出された場合に、撮像画像に映り込みが発生していると判定される。「所定時間」は、映り込みが発生している可能性が高いと判断できる程度に、特定領域が長い期間検出され続けているか否かを判定するための閾値である。

（付記２）
付記２に記載の映り込み判定装置の一態様では、前記算出手段は、前記車両の速度が所定速度以上である場合に、前記オプティカルフローを算出する。

この態様によれば、車両の速度が所定速度未満である場合には、オプティカルフローが算出されない。つまり、映り込みが発生しているか否かの判定は行われない。車両の速度が比較的遅い場合には、カメラから見た車両外部に存在する物体の移動速度も遅くなるため、車両外部の物体が撮像されている領域であっても、オプティカルフローが小さい特定領域として検出されてしまう可能性がある。「所定速度」は、車両外部の物体のオプティカルフローと、ガラスに映り込んだ物体とのオプティカルフローとの間に有意差が生じる程度の速度として設定されており、車両の速度が所定速度以上の場合にオプティカルフローを算出することで、映り込みの誤判定を好適に防止できる。

（付記３）
付記３に記載の映り込み判定装置の他の態様では、前記カメラは、前記車両の前方又は後方の外部環境を撮影可能とされており、前記映り込み防止手段は、前記カメラの撮像画像の中央領域における映り込みを防止する。

この態様によれば、映り込み防止手段は、撮像画像の中央領域における映り込みを防止するものとして構成されており、撮像画像の中央領域以外の領域については、映り込みが防止されていない。なお、ここでの「中央領域」とは、水平方向で見た場合の撮像画像の中央部分の領域を指している。このため、「中央領域以外の領域」は、撮像画像の左右端部周辺の領域を意味する。

車両が走行している場合、車両の前方又は後方の外部環境を撮影した画像は、一般的に中央に近づくほど車両外部の物体の移動速度が遅くなる。このため、車両外部の物体が映っている領域であっても、オプティカルフローが比較的小さくなる。よって、中央領域では、仮に映り込みが発生した場合、オプティカルフローによって映り込みを判定することが難しくなる。従って、中央領域については、そもそも映り込みが発生することがないように、映り込み防止手段によって映り込みが防止されている。

一方、車両の前方又は後方の外部環境を撮影した画像は、左右端部に近づくほど車両外部の物体の移動速度は速くなる。このため、車両外部の物体が映っている領域では、オプティカルフローが比較的大きくなる。よって、撮像画像の中央領域以外の領域については、オプティカルフローを利用した映り込みの判定が容易となる。従って、映り込み防止手段によって映り込みが防止されていなくても、容易に映り込みの発生を判定できる。

なお、映り込み防止手段は、撮像画像のできるだけ多くの領域における映り込みを防止することが好ましいが、その構成上、すべての領域における映り込みを防止することは難しい。例えば、映り込み防止手段としてカメラフードのようなものを採用する場合、カメラフードを大きくするほど、映り込みを防止できる領域は大きくなるが、その反面、車両の搭乗車の視界を狭めてしまうため、カメラフードを際限なく大きくすることはできない。よって、上述した中央領域における映り込みを防止する構成は、実践上極めて有益な効果を発揮するものである。

（付記４）
付記４に記載の撮影装置は、車両の内部からガラス越しに前記車両の外部環境を撮影するカメラと、前記カメラの撮像画像における一部の領域への前記ガラスの映り込みを防止するカメラフードと、（ｉ）前記カメラの撮像画像における前記カメラフードによって映り込みが防止されていない領域のオプティカルフローを算出し、（ｉｉ）前記オプティカルフローが所定閾値よりも小さい点によって規定される特定領域が所定時間以上継続して検出された場合に、前記カメラの撮像画像に映り込みが発生していると判定する映り込み判定装置とを備える。

付記４に記載の撮影装置によれば、上述した映り込み判定装置を備えているため、オプティカルフローが所定閾値よりも小さい点によって規定される特定領域が所定時間以上継続して検出されたか否かによって、映り込みの発生を好適に判定できる。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う映り込み判定装置及び撮影装置もまた本発明の技術的範囲に含まれるものである。

１０ フロントウィンドウ
１００ カメラ
１１０ カメラ本体
１２０ レンズ
２００ カメラフード
３００ 映り込み判定装置
３１０ オプティカルフロー算出部
３２０ 映り込み判定部

Claims (4)

1. 車両の内部からガラス越しに前記車両の外部環境を撮影可能であり、前記ガラスの映り込みを防止する映り込み防止手段を備えるカメラの映り込み判定装置であって、
   前記カメラの撮像画像における前記映り込み防止手段によって映り込みが防止されていない領域のオプティカルフローを算出する算出手段と、
   前記オプティカルフローが所定閾値よりも小さい点によって規定される特定領域が所定時間以上継続して検出された場合に、前記カメラの撮像画像に映り込みが発生していると判定する判定手段と
   を備えることを特徴とする映り込み判定装置。
2. 前記算出手段は、前記車両の速度が所定速度以上である場合に、前記オプティカルフローを算出することを特徴とする請求項１に記載の映り込み判定装置。
3. 前記カメラは、前記車両の前方又は後方の外部環境を撮影可能とされており、
   前記映り込み防止手段は、前記カメラの撮像画像の中央領域における映り込みを防止する
   ことを特徴とする請求項１又は２に記載の映り込み判定装置。
4. 車両の内部からガラス越しに前記車両の外部環境を撮影するカメラと、
   前記カメラの撮像画像における一部の領域への前記ガラスの映り込みを防止するカメラフードと、
   （ｉ）前記カメラの撮像画像における前記カメラフードによって映り込みが防止されていない領域のオプティカルフローを算出し、（ｉｉ）前記オプティカルフローが所定閾値よりも小さい点によって規定される特定領域が所定時間以上継続して検出された場合に、前記カメラの撮像画像に映り込みが発生していると判定する映り込み判定装置と
   を備えることを特徴とする撮影装置。

Images