JP2019153225A - 物体識別装置 - Google Patents

Abstract

【課題】認識の精度を向上する。【解決手段】物体識別装置（１００）は、周辺環境を認識する認識手段から出力されたデータを解析して、周辺環境に存在する物体が複数のクラスのいずれに分類されるかの尤もらしさを示すスコアを、複数のクラス各々について求め、スコアの最も高いクラスに物体を分類する物体識別装置である。当該物体識別装置は、物体を複数のクラスのいずれかに分類する際に、認識手段とは異なる情報源の、周辺環境に存在する物体を示唆する示唆情報が存在する場合、示唆情報に対応するクラスのスコアが増加するようにスコアを補正する。【選択図】図１

Description

本発明は、物体識別装置の技術分野に関する。

この種の装置で用いられる技術として、例えば、画像認識に有効な畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）に係る技術が提案されている（特許文献１参照）。

特開２０１６−１４６１７４号公報

ＣＮＮを用いた画像認識では、畳み込みフィルタにより認識対象の画像に係る特徴量が抽出され、例えば該抽出された特徴量に基づいて認識対象の画像が複数のクラスのうちいずれかに分類（即ち、多クラス分類）される。この結果、例えば認識対象の画像に写っている物体が識別される。しかしながら、このような画像認識には改善の余地がある。

本発明は、上記事情に鑑みてなされたものであり、認識の精度を向上することができる物体識別装置を提供することを課題とする。

本発明の一態様に係る物体識別装置は、周辺環境を認識する認識手段から出力されたデータを解析して、前記周辺環境に存在する物体が複数のクラスのいずれに分類されるかの尤もらしさを示すスコアを、前記複数のクラス各々について求め、前記スコアの最も高いクラスに前記物体を分類する物体識別装置であって、前記物体を前記複数のクラスのいずれかに分類する際に、前記認識手段とは異なる情報源の、前記周辺環境に存在する物体を示唆する示唆情報が存在する場合、前記示唆情報に対応するクラスのスコアが増加するように前記スコアを補正するというものである。

実施形態に係る画像認識システムの構成を示すブロック図である。 実施形態に係る画像認識処理を示すフローチャートである。

物体識別装置に係る実施形態について図１及び図２を参照して説明する。ここでは、物体識別装置の一例として、画像認識システムを挙げる。尚、本実施形態では、ＣＮＮの入力データとして、例えば車両等の移動体に搭載されたカメラにより撮像された画像を一例として挙げる。

（構成）
実施形態に係る画像認識システムの構成について図１を参照して説明する。図１は、実施形態に係る物体画像認識システムの構成を示すブロック図である。

図１において、画像認識システム１００は、認識部１０及び出力部２０を備えて構成されている。認識部１０は、その内部に論理的に実現される処理ブロックとして多クラス分類器及び最大スコア判定器を有する。多クラス分類器は、例えばＣＮＮ等により構成されている。尚、多クラス分類器には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。

画像情報（即ち、移動体に搭載されたカメラにより撮像された画像に相当する画像情報）が、多クラス分類器に入力されると、該多クラス分類器はスコアベクトルｓを出力する。ここでは、スコアベクトルｓ＝（車両スコア，パイロンスコア，警戒標識スコア，信号灯スコア，歩行者スコア，子供スコア，…）と表される。尚、スコアベクトル（又はラベリングベクトル）の求め方については、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。

認識部１０は、スコアベクトルｓに、重みベクトルｗを掛けることによって、重み付きスコアベクトルｓ×ｗを計算する。ここでは、重みベクトルｗ＝（車両重み，パイロン重み，警戒標識重み，信号灯重み，歩行者重み，子供重み，…）と表される。最大スコア判定器は、重み付きスコアベクトルｓ×ｗに含まれる複数の成分のうち最大値の成分を選択し、上記画像情報を、該選択された成分に対応するクラスに分類する。つまり、認識部１０は、上記画像情報に写っている物体を、上記選択された成分に対応するクラスにより示される物体であると認識する。出力部２０は、認識部１０による分類結果（即ち、認識結果）を出力する。

本実施形態では特に、認識部１０は、移動体（即ち、多クラス分類器に入力される画像情報に相当する画像を撮像したカメラ）の周辺環境に存在する物体を示唆する示唆情報に応じて、重みベクトルｗの少なくとも一つの成分の値（即ち、重み）を変更する。本実施形態では、示唆情報として、過去及び現在の地図情報（例えば、過去のある時刻に移動体が存在した位置周辺の地図情報、及び、移動体の現在位置周辺の地図情報）、過去及び現在のＶＩＣＳ（登録商標、Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）情報、及び、画像認識システム１００による過去の分類結果（以降、適宜“過去出力”と称する）を挙げる。

移動体に搭載されたカメラにより撮像された画像に相当する画像情報が、時系列に沿って、画像認識システム１００に入力される場合、時刻ｔの画像情報に、特定の物体の存在を示唆する物体が写っている場合、時刻ｔより後の時刻ｔ´の画像情報に、上記特定の物体が写っている可能性が比較的高い。言い換えれば、時刻ｔの画像情報についての分類結果は、時刻ｔ´の画像情報に写っている物体を示唆している可能性が比較的高い。例えば時刻ｔの画像情報に「５００ｍ先道路工事中」という標識が写っている場合、時刻ｔ´の画像情報に「パイロン」が写っている可能性が比較的高い。このため、過去出力は示唆情報になり得るのである。

例えば示唆情報としての地図情報により、移動体に搭載されたカメラの撮像方向に交差点が存在することが示された場合、認識部１０は、重みベクトルｗに含まれる信号灯重みの値を大きくする。例えば示唆情報としてのＶＩＣＳ情報により、工事現場が移動体の近くに存在することが示された場合、認識部１０は、重みベクトルｗに含まれるパイロン重みの値を大きくする。例えば示唆情報としての過去出力が「道路工事中」の標識であった場合、認識部１０は、重みベクトルｗに含まれるパイロン重みの値を大きくする。例えば示唆情報としての過去出力が「学校、幼稚園、保育所等あり」の標識であった場合、認識部１０は、重みベクトルｗに含まれる子供重みの値を大きくする。

当該画像認識システム１００では、現在から過去のある時点までの所定期間に取得された、例えば地図情報、ＶＩＣＳ情報及び過去出力が示唆情報として扱われる。「所定期間」をどの程度の長さとするかは、例えば移動体の速度等に応じて適宜設定されてよい。尚、示唆情報が存在しない場合、認識部１０は、重みベクトルｗに含まれる各成分の値（即ち、重み）を等しくする。

（画像認識処理）
次に、画像認識システム１００において実施される画像認識処理について図２のフローチャートを参照して説明する。

図２において、画像認識システム１００の認識部１０は、入力データ（ここでは、画像情報）を取得する（ステップＳ１０１）。ステップＳ１０１の処理と並行して、認識部１０は、入力データ以外のデータ（即ち、上述の示唆情報）を取得する（ステップＳ１０２）。尚、示唆情報が存在しない場合、ステップＳ１０２の処理はスキップされてよい。

次に、ステップＳ１０１の処理において取得された入力データが認識部１０の多クラス分類器に入力される（ステップＳ１０３）。その後、多クラス分類器からスコアベクトルｓが出力される（ステップＳ１０４）。ステップＳ１０３及びＳ１０４の処理と並行して、認識部１０は、重みベクトルｗを決定する（ステップＳ１０５）。このとき、ステップＳ１０２の処理において、示唆情報が取得されていれば、識別部１０は、該示唆情報に応じて重みベクトルｗを変更する。

次に、認識部１０は、スコアベクトルｓに重みベクトルｗを掛けることにより重み付きスコアベクトルｓ×ｗを求める（ステップＳ１０６）。次に、最大スコア判定器は、重み付きスコアベクトルｓ×ｗに含まれる複数の成分のうち最大値の成分を選択する（ステップＳ１０７）。その後、出力部２０は、認識部１０による分類結果を出力する（ステップＳ１０８）。

上記ステップＳ１０８の処理の後、所定時間（例えば数十ミリ秒から数百ミリ秒）が経過した後、ステップＳ１０１の処理が再度行われる。即ち、図２に示す画像認識処理は、所定時間に応じた周期で繰り返し行われる。

（技術的効果）
当該画像認識システム１００では、画像情報（即ち、多クラス分類器の入力データ）以外のデータ（即ち、上述の示唆情報）も用いて画像認識が行われる。このため、画像情報のみを用いて画像認識を行う比較例に係るシステムに比べて、画像認識の精度を向上することができる。

＜変形例＞
（１）画像情報（即ち、移動体に搭載されたカメラにより撮像された画像に相当する画像情報）に限らず、例えばＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）により取得された情報等も、多クラス分類器の入力データとされてよい。

（２）重みベクトルｗに含まれる複数の成分のうち、存在可能性が比較的低い物体に対応するクラスの成分の値（即ち、重み）は、標準では“０”に設定されてよい。そして、示唆情報により、重みが“０”に設定されたクラスに対応する物体の存在が示唆された場合に、当該クラスの重みが“０”より大きく設定されてよい。このように構成すれば、誤認識を抑制することができる。

（３）多クラス分類器は標準ではＯＦＦ状態（即ち、重みベクトルｗの全ての成分の値が“０”に相当）であってよい。そして、示唆情報が存在する場合に、多クラス分類器がＯＮ状態にされてよい。このように構成すれば、画像認識システム１００に係る処理負荷が軽減され、画像認識システム１００の消費エネルギーを抑制することができる。尚、この場合、標準では、多クラス分類器を用いない画像認識が行われてよい。

（４）示唆情報として、スコアベクトルｓに含まれる少なくとも一つの成分に対応するクラスの非存在を示す情報が取得された場合、識別部１０は、当該対応するクラスの重みを“０”に設定してよい。この結果、当該対応するクラスの重み付きスコアは、非存在を示す示唆情報が取得されない場合に比べて低下する。具体的には、示唆情報として「自動車専用」の標識が取得された場合、識別部１０は、重みベクトルｗに含まれる、例えば歩行者重み、自転車重み等を“０”に設定してよい。

以上に説明した実施形態及び変形例から導き出される発明の各種態様を以下に説明する。

発明の一態様に係る物体識別装置は、周辺環境を認識する認識手段から出力されたデータを解析して、前記周辺環境に存在する物体が複数のクラスのいずれに分類されるかの尤もらしさを示すスコアを、前記複数のクラス各々について求め、前記スコアの最も高いクラスに前記物体を分類する物体識別装置であって、前記物体を前記複数のクラスのいずれかに分類する際に、前記認識手段とは異なる情報源の、前記周辺環境に存在する物体を示唆する示唆情報が存在する場合、前記示唆情報に対応するクラスのスコアが増加するように前記スコアを補正するというものである。尚、「周辺環境」は、認識手段の周辺環境を意味する。当該物体識別装置が認識手段の近傍に存在している場合には、「周辺環境」は、当該物体識別装置の周辺環境と同義となる。

当該物体識別装置によれば、示唆情報を用いてスコアが補正されるので、示唆情報を用いない（即ち、認識手段から出力されたデータだけ用いる）比較例に係る装置と比べて、認識の精度を向上することができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う物体識別装置もまた本発明の技術的範囲に含まれるものである。

１０…認識部、２０…出力部、１００…画像認識システム

Claims (1)

1. 周辺環境を認識する認識手段から出力されたデータを解析して、前記周辺環境に存在する物体が複数のクラスのいずれに分類されるかの尤もらしさを示すスコアを、前記複数のクラス各々について求め、前記スコアの最も高いクラスに前記物体を分類する物体識別装置であって、
   前記物体を前記複数のクラスのいずれかに分類する際に、前記認識手段とは異なる情報源の、前記周辺環境に存在する物体を示唆する示唆情報が存在する場合、前記示唆情報に対応するクラスのスコアが増加するように前記スコアを補正する
   ことを特徴とする物体識別装置。

Images