JP2020013332A

JP2020013332A - 画像認識装置

Info

Publication number: JP2020013332A
Application number: JP2018135068A
Authority: JP
Inventors: 将尭横田; Masataka Yokota; 佳孫; Ka Son; 尚宏曽田; Naohiro Soda
Original assignee: Denso Corp; Toyota Motor Corp
Current assignee: Denso Corp; Toyota Motor Corp
Priority date: 2018-07-18
Filing date: 2018-07-18
Publication date: 2020-01-23
Also published as: US20200027217A1; CN110738089B; US11100653B2; CN110738089A

Abstract

【課題】ワイパの動作時のフレームレートの低下を抑制する。【解決手段】画像認識装置（１０）は、移動体（１）の室内から、ワイパが取り付けられたウィンドウガラス越しに外部を撮像した時間的に連続する複数のフレーム画像のうち一のフレーム画像を複数の領域に分割する分割手段（１３）と、複数の領域各々について、ワイパ及びウィンドウガラスへの付着物の少なくとも一方が映り込んでいるか否かを判定する判定手段（１３）と、複数の領域のうち、ワイパ及び付着物が映り込んでいないと判定された領域に含まれる物標を検出する物標検出手段（１４）と、物標検出手段の検出結果に基づいて、複数のフレーム画像の二以上のフレーム画像に含まれる物標である追跡対象を追跡する追跡手段（１５）と、を備える。【選択図】図１

Description

本発明は、画像認識装置の技術分野に関する。

この種の装置として、例えば、撮像画像において対象物候補が基準回数以上連続して検知された場合に、該対象物候補を対象物として特定する車両用撮像装置であって、ワイパが作動している場合はワイパが映っていない撮像画像のみを取得する車両用撮像装置が提案されている（特許文献１参照）。

特開２００９−０７１５３９号公報

特許文献１に記載の技術では、ワイパが動作している場合（主に雨天時）のフレームレートが著しく低下するという技術的問題点がある。

本発明は、上記問題点に鑑みてなされたものであり、ワイパの動作時においてもフレームレートの低下を抑制することができる画像認識装置の提供することを課題とする。

本発明の一態様に係る画像認識装置は、移動体の室内からワイパが取り付けられたウィンドウガラス越しに前記移動体の外部を撮像する撮像装置により撮像された時間的に連続する複数のフレーム画像を取得する取得手段と、前記複数のフレーム画像各々に含まれる物標を検出する物標検出手段と、前記物標検出手段の検出結果に基づいて、前記複数のフレーム画像の二以上のフレーム画像に含まれる物標である追跡対象を追跡する追跡手段と、を備える画像認識装置であって、前記複数のフレーム画像のうち一のフレーム画像を複数の領域に分割する分割手段と、前記複数の領域各々について、前記ワイパ及び前記ウィンドウガラスへの付着物の少なくとも一方が映り込んでいるか否かを判定する判定手段と、を備え、前記物標検出手段は、前記複数の領域のうち、前記ワイパ及び前記付着物が映り込んでいないと判定された領域に含まれる物標を検出し、前記追跡手段は、前記複数の領域各々について、前記一のフレーム画像よりも時間的に前の他のフレーム画像についての前記物標検出手段の検出結果に基づいて、前記追跡対象を追跡するというものである。

実施形態に係る画像解析装置の構成を示すブロック図である。画像の一例を示す図である。トラッキング処理の一例を示す図である。実施形態に係る画像解析処理を示すフローチャートである。

画像認識装置に係る実施形態について図１乃至図４を参照して説明する。以下の実施形態では、画像認識装置の一例として画像解析装置を挙げる。

（構成）
実施形態に係る画像解析装置の構成について図１を参照して説明する。図１は、実施形態に係る画像解析装置の構成を示す図である。

図１において、画像解析装置１０は、車両１に搭載されている。車両１は、車室内からワイパが取り付けられたウィンドウガラス越しに車両１の外部を撮像するカメラ（図示せず）を備えている。ここで、車両１が自動車（例えば自動四輪車）である場合、ウィンドウガラスは、自動車のフロントウィンドウに限らず、例えばリアウィンドウ等であってもよい。

画像解析装置１０は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、ワイパ動作取得機能部１１、雨天判定機能部１２、領域毎実行処理判定機能部１３、物標認識機能部１４、物標トラッキング機能部１５及び物標位置予測機能部１６を備えて構成されている。画像解析装置１０の動作時には、カメラにより撮像された時間的に連続する複数のフレーム画像（図１の“画像情報”に相当）が、画像解析装置１０に逐次入力される。

ワイパ動作取得機能部１１は、ワイパの状態に係る情報（例えば、ＯＮ／ＯＦＦ、低速連続動作、高速連続動作、間欠動作、間欠動作の間隔、等）を取得する。「ワイパの状態に係る情報」を、以降、適宜「ワイパ情報」と称する。

雨天判定機能部１２は、上記ワイパ情報及びフレーム画像の少なくとも一方に基づいて、雨天であるか否かを判定する。具体的には、雨天判定機能部１２は、ワイパ情報によりワイパが動作中であることが示されている場合に、雨天であると判定する。雨天判定機能部１２は、フレーム画像から雨滴に相当する輪郭（例えば円形）が存在する領域を抽出し、フレーム画像に占める該抽出された領域の割合が所定値以上である場合に、雨天であると判定する。或いは、雨天判定機能部１２は、ワイパ情報により示されるワイパの状態及びフレーム画像から抽出された雨滴に相当する輪郭が存在する領域の両方を考慮して、雨天であるか否かを総合的に判定してもよい。尚、ここに示した雨天の判定方法は一例であり、これらに限定されるものではない。

領域毎実行処理判定機能部１３は、雨天判定機能部１２により雨天であると判定された場合、フレーム画像を複数の領域に分割する。具体的には、領域毎実行処理判定機能部１３は、フレーム画像を、図２（ａ）に示すように、例えば１２の領域に分割する。

次に、領域毎実行処理判定機能部１３は、分割された各領域について、ワイパ及びウィンドウガラスへの付着物（例えば雨滴、泥ハネ等）の映り込みの有無を判定する。例えば図２（ｂ）に示すフレーム画像の場合、領域毎実行処理判定機能部１３は、領域（９）（図２（ａ）参照）以外の領域について、映り込みがあると判定する。例えば図２（ｃ）に示すフレーム画像の場合、領域毎実行処理判定機能部１３は、領域（３）、（４）、（７）、（８）、（１１）及び（１２）（図２（ａ）参照）について映り込みがあると判定する。例えば図２（ｄ）に示すフレーム画像の場合、領域毎実行処理判定機能部１３は、領域（７）、（８）、（１１）及び（１２）（図２（ａ）参照）について映り込みがあると判定する。

領域毎実行処理判定機能部１３は、例えば各領域において明度が比較的小さい部分を抽出し、該抽出された部分のサイズが第１所定サイズ以上である場合に、ワイパが映り込んでいると判定する。領域毎実行処理判定機能部１３は、例えば第２所定サイズ以上の円形の輪郭が存在する場合、ウィンドウガラスへの付着物が映り込んでいると判定する。尚、ここに示したワイパ又は付着物の判定方法は一例であり、これらに限定されるものではない。

領域毎実行処理判定機能部１３は、雨天判定機能部１２により雨天でないと判定された場合、フレーム画像（例えば図２（ｅ）に示すような、ワイパも付着物も映っていないフレーム画像）に対して、上述した分割や映り込み判定を行わない。

物標認識機能部１４は、フレーム画像に物標認識処理を施して、該フレーム画像に含まれる物標を認識（検出）する。ここで、物標認識機能部１４は、雨天判定機能部１２により雨天でないと判定された場合、フレーム画像全体を対象とした物標認識処理を行う。他方、物標認識機能部１４は、雨天判定機能部１２により雨天であると判定された場合、フレーム画像のうち、領域毎実行処理判定機能部１３によりワイパ及び付着物が映り込んでいないと判定された領域を対象とした物標認識処理を行う。物標認識機能部１４は、雨天判定機能部１２により雨天であると判定された場合、フレーム画像のうち、領域毎実行処理判定機能部１３によりワイパ及び付着物の少なくとも一方が映り込んでいると判定された領域について物標認識処理は行わない。誤認識を防止するためである。物標認識機能部１４により認識された物標を示す情報は、物標認識情報（図１参照）の一部を構成する。尚、物標認識処理には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。

物標トラッキング機能部１５は、フレーム画像に含まれる物標のうち、例えば車両等の追跡対象を、時間的に連続する二以上のフレーム画像において追跡する（即ち、トラッキングする）。物標トラッキング機能部１５により追跡された追跡対象に係る情報は、物標認識情報（図１参照）の他の部分を構成する。尚、追跡対象の追跡方法については、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。

物標位置予測機能部１６は、物標トラッキング機能部１５による追跡対象の追跡を補助するために、過去の物標認識情報に基づいて、当該画像解析装置１０の現在の解析対象のフレーム画像が撮像された時刻における追跡対象の位置（即ち、フレーム画像上の座標又は座標範囲）を予測する。物標位置予測機能部１６は、該予測された位置を含む所定範囲を示す範囲情報を、物標トラッキング機能部１５に出力する。

尚、追跡対象の現在位置の予測は、例えば過去の複数の物標認識情報から、追跡対象の移動量及び移動方向を検出し、該検出された移動量及び移動方向に基づいて行えばよい。また、追跡対象の位置の予測に用いられる過去の物標認識情報が、現在からどの程度遡った時に求められた物標認識情報であるかは（即ち、“過去”が、現在からどの程度遡った時であるのかは）、例えばワイパの動作速度、フレームレート、追跡対象の移動速度等に基づいて、適宜設定されてよい。

本実施形態では、物標トラッキング機能部１５は、雨天判定機能部１２により雨天であると判定された場合であっても、フレーム画像全体を対象として（即ち、領域毎実行処理判定機能部１３によりワイパ及び付着物が映り込んでいないと判定された領域に限らず、領域毎実行処理判定機能部１３によりワイパ及び付着物の少なくとも一方が映り込んでいると判定された領域も対象として）、追跡対象の追跡を行う。

このとき、何らの対策も採らずに、フレーム画像のうち領域毎実行処理判定機能部１３によりワイパ及び付着物の少なくとも一方が映り込んでいると判定された領域を対象として追跡対象の追跡が行われると、誤った追跡結果になるおそれがある。

そこで、本実施形態では、物標トラッキング機能部１５は、物標位置予測機能部１６から出力された範囲情報により示される所定範囲内において、追跡対象の追跡を行う。具体的には例えば、時刻Ｔ_１に撮像された図３（ａ）に示すフレーム画像から追跡対象としての対象車両が認識された場合、物標位置予測機能部１６は、該対象車両の時刻Ｔ_２（即ち、当該画像解析装置１０の現在の解析対象のフレーム画像が撮像された時刻）での位置を推定する。物標トラッキング機能部１５は、時刻Ｔ_２に撮像された図３（ｂ）に示すフレーム画像のうち、物標位置予測機能部１６から出力された範囲情報により示される所定範囲内（図３（ｂ）の“物標の推定存在領域”参照）において、対象車両の追跡を行う。

車両１は更に、車両制御部２０を備えている。車両制御部２０は、画像解析装置１０二より生成された物標認識情報に基づいて車両１を制御する。車両制御部２０は、物標認識情報に基づいて、例えば、物標認識情報により示される物標のうち車両１と衝突する可能性がある物標と、車両１との衝突を回避するために、ブレーキアクチュエータ等を制御してもよいし、車両１のドライバに衝突の可能性がある旨又は物標の存在を報知してもよい。

（画像解析処理）
次に、上述の如く構成された画像解析装置１０において行われる画像解析処理について、図４のフローチャートを参照して説明する。

図４において、物標位置予測機能部１６は、過去の物標認識情報（即ち、認識結果）から、当該画像解析装置１０の現在の解析対象のフレーム画像が撮像された時刻における追跡対象の位置を予測して、範囲情報を出力する（ステップＳ１０１）。ステップＳ１０１の処理と並行して、雨天判定機能部１２は、雨天判定を行う（ステップＳ１０２）。

次に、領域毎実行処理判定機能部１３は、雨天判定機能部１２による雨天判定の結果が雨天であるか否かを判定する（ステップＳ１０３）。ステップＳ１０３の処理において、雨天ではないと判定された場合（ステップＳ１０３：Ｎｏ）、物標認識機能部１４は、フレーム画像全体を対象とした物標認識処理を行うとともに、物標トラッキング機能部１５は、物標位置予測機能部１６から出力された範囲情報に基づいて追跡対象の追跡を行う（ステップＳ１０４）。この場合、領域毎実行処理判定機能部１３はフレーム画像を分割しない。

ステップＳ１０４の処理の後、所定時間（例えば数十ミリ秒から数百ミリ秒）経過した後に、ステップＳ１０１の処理が行われる。つまり、図４に示す一連の処理は、所定時間に応じた周期で繰り返し行われる。

ステップＳ１０３の処理において、雨天であると判定された場合（ステップＳ１０３：Ｙｅｓ）、領域毎実行処理判定機能部１３はフレーム画像を複数の領域に分割する（ステップＳ１０５）。続いて、領域毎実行処理判定機能部１３は、該複数の領域のうち一の領域を選択する（ステップＳ１０６）。そして、領域毎実行処理判定機能部１３は、該選択された一の領域にワイパ及びウィンドウガラスへの付着物の少なくとも一方が映り込んでいるか否かを判定する（ステップＳ１０７）。

ステップＳ１０７の処理において、ワイパ及び付着物の少なくとも一方が映り込んでいると判定された場合（ステップＳ１０７：Ｙｅｓ）、物標トラッキング機能部１５は、物標位置予測機能部１６から出力された範囲情報に基づいて追跡対象の追跡を行う（ステップＳ１０８）。この場合、選択された一の領域を対象とした物標認識処理は行われない。

他方、ステップＳ１０７の処理において、ワイパ及び付着部が映り込んでいないと判定された場合（ステップＳ１０７：Ｎｏ）、物標認識機能部１４は、選択された一の領域を対象とした物標認識処理を行うとともに（ステップＳ１０９）、物標トラッキング機能部１５は、物標位置予測機能部１６から出力された範囲情報に基づいて追跡対象の追跡を行う（ステップＳ１１０）。

その後、領域毎実行処理判定機能部１３は、上記複数の領域の全てについて処理（即ち、ステップＳ１０７〜Ｓ１１０の処理）が行われたか否かを判定する（ステップＳ１１１）。ステップＳ１１１の処理において、複数の領域の全てについて処理が行われていないと判定された場合（ステップＳ１１１：Ｎｏ）、ステップＳ１０６の処理が行われる。他方、ステップＳ１１１の処理において、複数の領域の全てについて処理が行われたと判定された場合（ステップＳ１１１：Ｙｅｓ）、所定時間経過した後に、ステップＳ１０１の処理が行われる。

（技術的効果）
物標認識機能部１４による物標認識処理では、ワイパやウィンドウガラスへの付着物が映り込んだフレーム画像がそのまま用いられると、物標の認識率が低下したり、誤認識が生じたりするおそれがある。他方で、ワイパや付着物が映り込んだフレーム画像（例えば、図２（ｂ）〜（ｄ）参照）を物標認識処理の対象から除外してしまうと、物標認識処理に用いることが可能なフレーム画像が著しく少なくなり、物標認識に係るフレームレートも著しく低下してしまう。

しかるに当該画像解析装置１０では、雨天と判定された場合、領域毎実行処理判定機能部１３によりフレーム画像が複数の領域に分割され、該複数の領域のうちワイパ及び付着物が映り込んでいない領域について物標認識処理が施される。このため、当該画像解析装置１０では、フレーム画像の一部にワイパや付着物が映り込んでいたとしても、該フレーム画像の他の部分（即ち、ワイパ及び付着物が映り込んでいない領域）について物標認識処理を行うことができる。従って、当該画像解析装置１０によれば、雨天時（即ち、ワイパの動作時）においても、物標認識処理の対象となるフレーム画像のフレームレートの低下を抑制することができる。

加えて、当該画像解析装置１０では、物標位置予測機能部１６から出力された範囲情報に基づいて、物標トラッキング機能部１５により追跡対象の追跡（即ち、トラッキング）が行われる。このため、フレーム画像の少なくとも一部にワイパや付着物が映り込んでいる場合であっても、追跡結果の誤りを抑制することができる。

以上に説明した実施形態から導き出される発明の各種態様を以下に説明する。

発明の一態様に係る画像認識装置は、移動体の室内から、ワイパが取り付けられたウィンドウガラス越しに前記移動体の外部を撮像する撮像装置により撮像された時間的に連続する複数のフレーム画像を取得する取得手段と、前記複数のフレーム画像各々に含まれる物標を検出する物標検出手段と、前記物標検出手段の検出結果に基づいて、前記複数のフレーム画像の二以上のフレーム画像に含まれる物標である追跡対象を追跡する追跡手段と、を備える画像認識装置であって、前記複数のフレーム画像のうち一のフレーム画像を複数の領域に分割する分割手段と、前記複数の領域各々について、前記ワイパ及び前記ウィンドウガラスへの付着物の少なくとも一方が映り込んでいるか否かを判定する判定手段と、を備え、前記物標検出手段は、前記複数の領域のうち、前記ワイパ及び前記付着物が映り込んでいないと判定された領域に含まれる物標を検出し、前記追跡手段は、前記複数の領域各々について、前記一のフレーム画像よりも時間的に前の他のフレーム画像についての前記物標検出手段の検出結果に基づいて、前記追跡対象を追跡するというものである。

上述の実施形態においては、「雨天判定機能部１２」が「取得手段」の一例に相当し、「物標認識機能部１４」が「物標検出手段」の一例に相当し、「物標トラッキング機能部１５」及び「物標位置予想機能部１６」が「追跡手段」の一例に相当し、「領域毎実行処理判定機能部１３」は、「分割手段」及び「判定手段」の一例に相当する。

当該画像認識装置では、物標検出手段により、フレーム画像のうち、ワイパ及び付着物が映り込んでいないと判定された領域に含まれる物標が検出される。つまり、当該画像認識装置では、フレーム画像の一部にワイパ及び付着物の少なくとも一方が映り込んでいたとしても、該フレーム画像の他の部分について物標の検出が行われる。このため、当該画像認識装置によれば、ワイパの動作時においても、取得された複数のフレーム画像のうち物標検出の対象となるフレーム画像の数の低下（即ち、フレームレートの低下）を抑制することができる。尚、「移動体」は、上述の実施形態における車両１（即ち、自動車）に限らず、例えば鉄道車両、飛行機等を含む概念である。

当該画像認識装置の一態様では、前記分割手段は、雨天であることを条件に、前記一のフレーム画像を前記複数の領域に分割する。この態様によれば、雨天でないときは、フレーム画像が複数の領域に分割されないので、当該画像認識装置の処理負荷を軽減することができる。

当該画像認識装置の他の態様では、前記物標検出手段は、前記複数の領域のうち、前記ワイパ及び前記付着物の少なくとも一方が映り込んでいると判定された領域について物標の検出を行わない。この態様によれば、当該画像認識装置の処理負荷を軽減することができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像認識装置もまた本発明の技術的範囲に含まれるものである。

１…車両、１０…画像解析装置、１１…ワイパ動作取得機能部、１２…雨天判定機能部、１３…領域毎実行処理判定機能部、１４…物標認識機能部、１５…物標トラッキング機能部、１６…物標位置予想機能部、２０…車両制御部

Claims

移動体の室内から、ワイパが取り付けられたウィンドウガラス越しに前記移動体の外部を撮像する撮像装置により撮像された時間的に連続する複数のフレーム画像を取得する取得手段と、前記複数のフレーム画像各々に含まれる物標を検出する物標検出手段と、前記物標検出手段の検出結果に基づいて、前記複数のフレーム画像の二以上のフレーム画像に含まれる物標である追跡対象を追跡する追跡手段と、を備える画像認識装置であって、
前記複数のフレーム画像のうち一のフレーム画像を複数の領域に分割する分割手段と、
前記複数の領域各々について、前記ワイパ及び前記ウィンドウガラスへの付着物の少なくとも一方が映り込んでいるか否かを判定する判定手段と、
を備え、
前記物標検出手段は、前記複数の領域のうち、前記ワイパ及び前記付着物が映り込んでいないと判定された領域に含まれる物標を検出し、
前記追跡手段は、前記複数の領域各々について、前記一のフレーム画像よりも時間的に前の他のフレーム画像についての前記物標検出手段の検出結果に基づいて、前記追跡対象を追跡する
ことを特徴とする画像認識装置。
前記分割手段は、雨天であることを条件に、前記一のフレーム画像を前記複数の領域に分割することを特徴とする請求項１に記載の画像認識装置。
前記物標検出手段は、前記複数の領域のうち、前記ワイパ及び前記付着物の少なくとも一方が映り込んでいると判定された領域について物標の検出を行わないことを特徴とする請求項１又は２に記載の画像認識装置。