JP2022186572A - 情報処理方法、プログラム及び情報処理装置 - Google Patents

情報処理方法、プログラム及び情報処理装置 Download PDF

Info

Publication number
JP2022186572A
JP2022186572A JP2021171818A JP2021171818A JP2022186572A JP 2022186572 A JP2022186572 A JP 2022186572A JP 2021171818 A JP2021171818 A JP 2021171818A JP 2021171818 A JP2021171818 A JP 2021171818A JP 2022186572 A JP2022186572 A JP 2022186572A
Authority
JP
Japan
Prior art keywords
sensor
information processing
abnormality
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021171818A
Other languages
English (en)
Inventor
望 窪田
Nozomu KUBOTA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2021171818A priority Critical patent/JP2022186572A/ja
Publication of JP2022186572A publication Critical patent/JP2022186572A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】対象物が誤って画像認識されるような場合でも、対象物に生じた異常を適切に判定すること。【解決手段】情報処理装置に備えられるプロセッサが、撮像装置から、対象物を含む画像を取得すること、対象物又は対象物近傍の物体に設けられる１又は複数のセンサから、各センサによりセンシングされる各データを取得すること、各データを用いて、画像に基づく対象物の認識結果が異常か否かを判定すること、を実行する。【選択図】図２

Description

本発明は、情報処理方法、プログラム及び情報処理装置に関する。
近年、自動運転車両による事故を回避する技術が盛んに研究されている。例えば、プロセッサによる運転能力レベルと、人間による運転能力レベルとを比較し、相対的にレベルの高い方に運転させる技術が知られている（例えば、特許文献１参照）。
米国特許９５６６９８６号公報
しかしながら、自動運転システムは、撮像装置により撮像された画像に基づき認識された対象物（標識、信号等）を用いて、自動運転を制御する。従って、従来技術のように、画像認識される対象物が真であるとの仮定の下で自動運転が制御される場合、画像認識される対象物が誤認識されてしまうと、重大な事故につながる可能性がある。例えば、近年指摘されている１ピクセルアタック（Jiawei Su, Danilo Vasconcellos Vargas, Sakurai Kouichi, "One pixel attack for fooling deep neural networks," IEEE Transactions on Evolutionary Computation], Vol.23 , Issue.5 , pp. 828--841. Publisher: IEEE. 2019）と呼ばれる攻撃は、わずか１ピクセルを変更するだけで、ニューラルネットワークに誤った画像を認識させ、特定の結果を返すように誘導することが可能になる。このような攻撃を受けて誤って認識された対象物、例えば、赤信号が誤って認識された青信号に対して、その誤認識を異常として判定する対策が必要となる。
そこで、本発明は、例えば攻撃を受けて、対象物が誤って画像認識されるような場合でも、対象物に生じた異常を適切に判定することを可能とする情報処理方法、プログラム及び情報処理装置を提供する。
本発明の一態様に係る情報処理方法は、情報処理装置に備えられるプロセッサが、撮像装置から、対象物を含む画像を取得すること、前記対象物又は前記対象物近傍の物体に設けられる１又は複数のセンサから、各センサによりセンシングされる各データを取得すること、前記各データを用いて、前記画像に基づく前記対象物の認識結果が異常か否かを判定すること、を実行する。
本発明によれば、対象物が誤って画像認識されるような場合でも、対象物に生じた異常を適切に判定することを可能にする情報処理方法、プログラム及び情報処理装置を提供することができる。
本発明の一実施形態に係る情報処理システムの一例を示す図である。 本実施形態に係る情報処理装置の処理ブロックの一例を示す図である。 本実施形態に係る情報処理装置の物理的構成の一例を示す図である。 実施例１に係る異常判定に用いるデータ例を示す図である。 実施例１に係る情報処理システム１の判定処理の一例を示すシーケンス図である。 実施例２に係る異常判定に用いるデータ例を示す図である。
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
＜システム概要＞
図１は、本発明の一実施形態に係る情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、情報処理装置１０、撮像装置が搭載された車両２０、各センサ３０が設けられた物体を含み、ネットワークＮを介して相互にデータ通信可能である。
図１に示す情報処理装置１０は、例えばサーバであり、ネットワークを介してあらゆる人やモノに接続される。例えば、情報処理装置１０は、自動運転レベル３以上の自動運転可能な各車両２０に接続され、各車両２０に搭載のカメラなどの撮像装置により撮像された画像を取得する。また、情報処理装置１０は、各車両２０の周辺の物体、例えば、信号機や道路、歩行者等に設けられた各センサ３０からセンシングされた各データを取得する。
情報処理装置１０は、取得される画像に対して、画像認識モデル、例えばＣＮＮ（Convolutional Neural Network）を用いて画像内の対象物が何であるかを認識する。この場合、情報処理装置１０は、認識対象物に設けられた各センサ３０、又はその対象物の近傍に位置する物体、例えば地物、車両２０、人等に設けられる各センサ３０から、センシングされる各データを取得する。各センサ３０は、例えば視覚、聴覚、味覚、嗅覚、触覚などの少なくとも１つを含む五感センサや、人に設けられる場合は、五感センサ以外にも、脳波をセンシングする脳波センサを含んでもよい。
例えば、道路標識を認識対象物とする場合、この道路標識に視覚センサ（カメラなどの撮像装置）、聴覚センサ（音データを収集するマイクなど）、味覚センサ、嗅覚センサ、触覚センサの少なくとも１つが設けられる。そして、各センサ３０からセンシングされるデータを情報処理装置１０に学習させておき、取得されるデータに対して、学習させた学習モデルを用いてデータが異常か否かの判定結果を出力させる。なお、学習モデルがニューラルネットワークを含む場合、情報処理装置１０は、誤差逆伝播法によりニューラルネットワークのパラメータを更新し、適切な判定結果を出力するように学習モデルを修正してもよい。
例えば、道路標識が折り曲げられたりすると、その道路標識から撮像される画像の変化や、折り曲げ時の音などにより視覚センサや聴覚センサを用いて異常を判定することが可能である。また、道路標識にスプレー等が噴射された場合には味覚センサ、嗅覚センサ、聴覚センサ、触覚センサなどを用いて異常を判定することが可能である。
情報処理装置１０は、認識結果に対して、各センサ３０から取得される各データを用いて異常がないかを判定する。例えば、情報処理装置１０は、各センサ３０からの各データに対して異常判定された各判定結果を用いて多数決処理を行うことで、任意の攻撃を受けた道路標識を撮像した画像を用いて対象物を誤って認識したとしても、その他の各センサ３０が異常を示すことにより、対象物を誤って認識していることを検出することが可能になる。
これにより、情報処理装置１０を含む自動運転システムが車両２０の走行を制御する際に、信号機や道路標識等の対象物が誤認識されても、この対象物等に設けられる各センサから出力される各データを用いて異常判定を行うことで、対象物自体に何らかの変更が加えられたことを検知することが可能になり、その結果、誤って画像認識された対象物に対して誤認識を検出することが可能になる。
＜実施例１＞
以下、本発明に係る一実施例について説明する。実施例１では、認識対象物に１又は複数のセンサ３０が設けられ、情報処理装置１０は、各センサ３０にセンシングされた各データを用いて、認識対象物自体に変更が加えられたか（異常があるか）を判定する。
例えば、認識対象物に対し、１ピクセルアタックが可能な位置に変更が加えられると、認識対象物の見た目では変更に気づかず、認識対象物の画像に基づく画像認識の結果、異なる対象物が認識されてしまう。しかし、実施例１では、認識対象物に設けられた各センサ３０等で、認識対象物への変化（異常）を検知し、本当の認識対象物とは異なる対象物が認識されていることを検知することが可能になる。以下、実施例１における認識対象物の異常判定について具体的に説明する。
図２は、本実施形態に係る情報処理装置１０の処理ブロックの一例を示す図である。情報処理装置１０は、処理制御部１１、第１取得部１２、第２取得部１３、判定部１４、画像認識部１５、学習モデル１５ａ、異常判定部１６、学習モデル１６ａ、出力部１７、記憶部１８を備える。
第１取得部１２は、例えば車両２０に搭載されるカメラなどの撮像装置から対象物を含む画像を取得する。撮像装置により送信された画像は、ネットワークを介して情報処理装置１０に取得され、記憶部１８に記憶される。例えば、第１取得部１２は、所定のタイミングで撮像装置から出力された画像を記憶部１８から順次取得する。画像は、車両２０の外部、例えば車両前方が撮像され、１又は複数の地物を含む画像である。
第２取得部１３は、取得された画像に含まれる対象物又は対象物近傍の物体に設けられる１又は複数のセンサ３０から、各センサ３０によりセンシングされる各データを取得する。各センサは、上述したとおり、例えば五感センサに含まれる視覚センサ、聴覚センサ、味覚センサ、嗅覚センサ、及び触覚センサの少なくとも１つである。また、各センサ３０は、例えば道路標識、信号、区画線などの自動運転の走行制御の際に、誤認識すると影響が大きい地物等に設けられる。また、各センサ３０は、歩行者に装着される脳波センサや五感センサでもよい。
各センサ３０からセンシングされるデータ（「センサデータ」ともいう。）は、各センサ３０からネットワークを介して情報処理装置１０に取得され、記憶部１８に記憶される。例えば、第２取得部１３は、所定のタイミングで各センサから出力される各センサデータを記憶部１８から取得する。
判定部１４は、取得された各データを用いて、取得された画像に基づく対象物の認識結果が異常か否かを判定する。例えば、判定部１４は、取得された画像から対象物を認識する画像認識部１５、認識対象物自体に異常が生じていないかどうかを判定する異常判定部１６を備える。
画像認識部１５は、取得された画像に対して物体認識処理が実行され、例えばＣＮＮを用いた学習モデル１５ａを利用することで、画像内の対象物を認識する。学習モデル１５ａは、特に限定されるものではなく、画像を用いて物体を検出、認識可能な学習モデル（パラメータを含む推論アルゴリズム）であればいずれの学習モデルでもよい。
異常判定部１６は、各センサ３０から取得された各センサデータを用いて、認識対象物が異常か否かを判定する。異常判定部１６は、例えば各センサデータのうち少なくとも所定数のセンサデータが所定の閾値を超えた場合などに異常判定を行ってもよい。
視覚センサの場合、例えば、認識対象物の位置がずれたり折れ曲がったりすることで撮像される景色が大きく異なる場合、異常が判定される。また、聴覚センサの場合、例えば、認識対象物に対して打撃が加えられたり、塗料を噴射されたりすると、その音を検知して、異常が判定される。また、味覚センサの場合、例えば、塗料等が認識対象物に噴射されたりすると、その塗料による化学量の変化を検知して、異常が判定される。また、嗅覚センサの場合、例えば、認識対象物に所定物が付加されたりすると、その所定物の匂いを検出して異常が判定される。また、触覚センサの場合、例えば、塗料等が認識対象物に噴射されたりすると、塗料等による認識対象物の接触面の圧力や振動等の変化を検知して、異常が判定される。
異常判定部１６は、歩行者に設けられた五感センサや脳波センサから取得されたセンサデータを用いて異常を判定してもよい。例えば、画像を取得する撮像装置を搭載した車両２０が、認識対象物を誤認識することで危険な走行をした場合、その車両２０の周辺にいる歩行者は、その車両２０を見て声を上げたり、驚いたり、心拍数が上がったりすることで、生体信号に変化が現れる。歩行者に設けられたセンサは、脳波信号や音声信号などの生体信号を情報処理装置１０に送信し、異常判定部１６は、歩行者の生体信号の変化を用いて異常を判定することが可能になる。例えば、車両周辺にいる歩行者については、異常判定部１６は、車両２０の位置情報を取得し、歩行者の位置情報を取得し、車両２０の位置から所定範囲内にいる歩行者を特定すればよい。
異常判定部１６は、取得した各センサデータのうち、所定数以上のセンサデータについて異常が判定された場合に、認識対象物に異常が生じていると判定する。
以上の処理により、画像の認識結果において誤認識が生じた場合でも、その他のセンサのデータを用いて認識結果に誤りが生じている（異常がある）ことを検出することが可能になる。例えば、車両２０に搭載される撮像装置により撮像された画像を用いて、交差点付近に位置する一時停止の標識が認識されるべきところ、その標識に細工がされて別の標識が認識されてしまう場合でも、その標識に設けられた少なくとも１つのセンサからのセンサデータを用いて異常を判定することが可能になる。すなわち、認識対象物が誤って画像認識されるような場合でも、対象物に生じた異常を適切に判定することが可能となる。
出力部１７は、判定部１４による判定結果を記憶部１８に記憶したり、外部に出力したり、表示装置に表示したりしてしてもよい。
また、異常判定部１６は、各センサ３０からの過去の各センサデータを学習データとして、対象物に関して異常の有無を学習した各学習モデル１６ａに、各センサ３０から取得される各センサデータのうち、対応するセンサデータをそれぞれ入力して対象物に関して異常か否かを判定してもよい。各学習モデル１６ａは、それぞれのデータに適した学習モデルが用いられれば良い。例えば、学習モデル１６ａは、過去のセンサデータに対して、異常か否の正解レベルを付した教師あり学習を行って生成されたモデルであり、センサデータが入力されると異常か正常かを出力する学習モデルである。
この場合、判定部１４は、各センサデータに対する各学習モデル１６ａから出力される各判定結果を取得する。判定部１４は、各判定結果を用いて、画像認識部１５による認識結果が異常か否かを判定してもよい。例えば、判定部１４は、センサデータ毎の判定結果に対して多数決処理を行うことで、異常を示す判定結果が多数の場合に、異常と判定するようにしてもよい。
以上の処理により、各センサデータについて学習モデルを用いて判定結果を出力することにより、各センサデータからの判定結果の判定精度を向上させることができ、その結果、対象物の異常判定をより適切に行うことが可能になる。
判定部１４は、異常判定部１６による各判定結果をアンサンブル学習して、画像認識部１５による認識結果が異常か否かを判定してもよい。例えば、判定部１４は、アンサンブル学習として、平均投票（Max Voting）、重量平均投票（Weighted Average Voting）、バギング（Bagging）、ブースティング（Boosting）、スタッキング（Stacking）などを含む所定の学習手法を用いる。なお、アンサンブル学習の学習手法は、上述した例に限られず、個々に別々の学習器として学習させたものを融合させることによって、未学習のデータに対しての予測能力を向上させるための学習手法であればよい。
また、判定部１４は、アンサンブル学習として平均投票の学習手法を用いる場合、所定のモデルとして、例えば、ロジスティック回帰、決定木、サポートベクターマシン、及びMax Votingアンサンブルの少なくとも１つを用いてもよいが、これらの例に限られない。
また、判定部１４は、アンサンブル学習として重量平均投票の学習手法を用いる場合、所定のモデルとして、例えば、ロジスティック回帰、決定木、サポートベクターマシン、及びWeighted Average Votingアンサンブルの少なくとも１つを用いてもよいが、これらの例に限られない。
また、判定部１４は、アンサンブル学習としてバギングの学習手法を用いる場合、所定のモデルとして、例えば、決定木とバギングアンサンブルの決定木を用いてもよいが、これらの例に限られない。
また、判定部１４は、アンサンブル学習としてブースティングの学習手法を用いる場合、所定のモデルとして、例えば、ロジスティック回帰、及び決定木の少なくとも１つを用いてもよい。この場合、アンサンブル学習のアルゴリズムとしては、ランダムフォレスト、ＡｄａＢｏｏｓｔ、ＧｒａｄｉｅｎｔＢｏｏｓｔｉｎｇ、Ｘｇｂｏｏｓｔ、ｌｉｇｈｔＧＢＭ、及びＣａｔＢｏｏｓｔの少なくとも１つが用いられてもよいが、これらの例に限られない。
また、判定部１４は、アンサンブル学習としてスタッキングの学習手法を用いる場合、所定のモデルとして、例えば、ロジスティック回帰、決定木、サポートベクターマシン、及びスタッキングアンサンブルの少なくとも１つを用いてもよいが、これらの例に限られない。
以上の処理により、各センサデータに対してアンサンブル学習を用いて、認識対象物の異常を判定することで、より適切に異常判定を行うことが可能になる。
また、上述したとおり、撮像装置は自動運転可能な車両２０に搭載され、画像認識される対象物は道路、信号機、又は標識に関する地物を含み、センサが設けられる物体は、地物、人、又は車両２０を含んでもよい。
これにより、実施例１におけるシステムを、自動運転システムに適用することが可能になり、自動運転システムの安全性能の向上に寄与することが可能になる。例えば、道路標識などの認識対象物に対して、自身のセンサや周囲のセンサにより見守られ、認識対象物に異常が生じた場合に適切に判定することが可能になる。
また、第１取得部１２は、画像とともに、撮像装置が搭載された車両２０の位置情報を取得してもよい。また、第２取得部１３は、各データとともに、各センサ３０の位置情報を取得してもよい。なお、位置情報は、各センサ３０が設けられる物体の位置情報を表してもよい。
この場合、判定部１４は、車両２０の位置情報に基づき特定される位置情報に対応する各センサ３０から送信されるデータを用いて、認識対象物の認識結果が異常か否かを判定することを含んでもよい。例えば、判定部１４は、車両２０の位置情報及び各センサ３０の位置情報を用いて、車両２０の位置から所定範囲内にある各センサを特定し、その各センサ３０から送信されたデータを用いる。
また、各センサ３０が設けられる地物（道路標識等）を特定するために、識別情報（ＩＤ）が付与される場合、各センサ３０は、位置情報とともに地物のＩＤを送信するようにしてもよい。この場合、判定部１４は、車両２０の位置情報と画像認識結果による対象物のカテゴリとを用いて認識対象物の種類（道路標識、信号、区画線、ガードレールなどの種類）を特定する。また、判定部１４は、各センサの位置情報とＩＤとを用いて、各センサが設けられた物体の種類（道路標識、信号、区画線、ガードレール等の種類）を特定する。
判定部１４は、認識対象物や物体の種類が特定されると、それぞれ対応する種類の認識対象物と物体とを関連付けて、認識対象物に関連付けられた物体に設けられた各センサから取得された各センサデータを用いて、認識対象物の認識結果の異常を判定してもよい。
以上の処理により、撮像装置が移動する場合でも、認識対象物を適切に特定し、異常判定に用いる各センサデータを適切に特定することができ、必要最小限のセンサデータを用いて認識対象物の異常を適切に判定することが可能になる。
また、近年、高精度な３次元位置情報を取得可能な地図データが開発されている。これらの地図データには、信号機や道路標識などの地物が地物データとして管理されており、車両２０の位置情報から、その車両２０の近辺にある地物を特定することが可能である。判定部１４は、この地図データを利用して、車両２０の周辺に位置する地物を特定し、その地物に設けられる各センサから出力される各センサデータを特定してもよい。
図３は、本実施形態に係る情報処理装置１０の物理的構成の一例を示す図である。情報処理装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。
図３に示す各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では情報処理装置１０が一台のコンピュータで構成される場合について説明するが、情報処理装置１０は、複数のコンピュータ又は複数の演算部が組み合わされて実現されてもよい。また、図３で示す構成は一例であり、情報処理装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、例えば図２に示す処理制御部１１の各処理を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、図２に示す学習モデル１５ａや学習モデル１６ａの性能を含む学習データといったデータを記憶してもよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば所定のプログラムや、書き換えが行われないデータを記憶してよい。なお、図２に示す記憶部１８は、ＲＡＭ１０ｂ及び／又はＲＯＭ１０ｃにより実現されうる。
通信部１０ｄは、情報処理装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、画像認識結果や異常判定結果を表示してよい。
処理制御部１１の各処理を実行する判定プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な非一時的な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。情報処理装置１０では、ＣＰＵ１０ａが判定プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、情報処理装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。また、情報処理装置１０は、ＧＰＵ（Graphical Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）を備えていてもよい。
図４は、実施例１に係る異常判定に用いるデータ例を示す図である。図４に示す例では、画像による認識対象物に対して、視覚センサ、嗅覚センサ、触覚センサ、聴覚センサ、味覚センサ、周辺歩行者の脳波センサ、又は五感センサを用いて、異常が判定される。
例えば、実施例１に示すように、自動運転システムに適用される場合、自動運転可能な車両２０は、撮像される画像から対象物を認識して、認識された対象物に基づいて走行制御を行うが、上述した1ピクセルアタックのように対象物において見た目には分からない攻撃が行われると、自動運転システムは誤った認識をしてしまい、重大な事故が発生しうる。
また、近年は様々なものや人がインターネットにつながるようになり、それぞれがデータ通信可能であるため、上記のような攻撃を受けた対象物を、自身や、周りのものや人から異常が検証されることで、適切に異常を判定、検出することが可能になる。
図４に示すような例では、道路標識や信号機などの認識対象物に対して、この認識対象物に設けられた視覚センサ、嗅覚センサ、触覚センサ、聴覚センサ、味覚センサ、周辺歩行者に設けられる脳波センサ、五感センサからの各センサデータを用いて、認識対象物の異常を適切に判定、検出することが可能になる。なお、図４に示す例は、図４に示すセンサを全て使用するという意図ではなく、少なくとも１つのセンサが用いられればよい。
図５は、実施例１に係る情報処理システム１の判定処理の一例を示すシーケンス図である。図５に示す処理では、撮像装置は車両２０に搭載され、各センサ３０は、道路標識等の地物に設けられる例であるが、この例に限られない。
ステップＳ１０２において、車両２０は、撮像装置により撮像された画像を、ネットワークＮを介して情報処理装置１０に送信する。車両２０は、ＧＮＳＳ（Global Navigation Satellite System）システムを用いて測定された車両２０の位置情報を画像とともに送信してもよい。
ステップＳ１０４において、各センサ３０は、センシングしたセンサデータを、ネットワークＮを介して情報処理装置１０に送信する。各センサ３０から出力される各センシングデータは、一旦他の機器に取得され、他の機器から送信されてもよい。
ステップＳ１０６において、情報処理装置１０の第１取得部１２と第２取得部１３とは、画像と各センサデータとをそれぞれ取得し、判定部１４は、取得された画像に対し、物体認識技術や学習モデル１５ａを用いて画像内の対象物を認識する。
ステップＳ１０８において、情報処理装置１０の判定部１４は、取得された各センサデータを用いて、画像内の認識対象物に異常があるか否かを判定する。なお、ステップＳ１０２～Ｓ１０８の処理は順序を問わず、先にセンサデータを取得して異常判定が行われたりしてもよい。
ステップＳ１１０において、判定部１４は、各センサデータの判定結果を用いて、画像内の認識対象物に異常があるか否かを判定する。
ステップＳ１１２において、出力部１７は、判定部１４の判定結果を表示装置又は外部装置に出力する。例えば、出力部１７は、判定部１４に異常が判定された場合、各センサ３０が設けられた対象物に、異常があることを通知する。これにより、例えば、異常通知を受けた対象物に設置される装置は、自身に異常があることを把握することができ、対象物を管理する企業等に交換や撤去等を報知することができる。
以上、実施例１によれば、認識対象物自体に設けられた各センサ３０、や周辺歩行者が所持する各センサ３０からのセンサデータを用いて、画像認識による認識対象物の異常を判定することが可能になる。
なお、認識対象物に設けられた各センサ３０から取得される各センサデータについては、画像の取得に関係なく、異常判定が行われてもよい。例えば、異常判定部１６は、各センサ３０から取得される各センサデータを用いてアンサンブル学習を行い、認識対象物の異常判定を行っておく。このとき、認識対象物に対して異常が検出された場合は、その認識対象物周辺を走行する車両２０に対し、その認識対象物に異常が生じていることを事前に報知することが可能になる。これにより、車両２０は、この認識対象物の画像認識結果の信用性がないことを事前に把握することができる。
＜実施例２＞
次に、本発明に係る実施例２について説明する。実施例２では、道路標識などの認識対象物に対して、この認識対象物の周囲に位置する物体に１又は複数のセンサ３０が設けられ、情報処理装置１０は、各センサ３０にセンシングされた各データを用いて、認識対象物に変更が加えられたか（異常があるか）を判定する。物体とは、例えば、上述した地物、人、及び車両等の少なくとも１つである。
また、実施例２におけるシステム構成は、図１に示す構成と同様であり、情報処理装置１０の構成は、図２及び３に示す構成と同様であり、情報処理システム１処理の手順は、図５に示す処理の手順と同様である。実施例２においては、認識対象物以外の周辺の地物などの物体に設けれた各センサ３０からの各センサデータが用いられる。
図６は、実施例２に係る異常判定に用いるデータ例を示す図である。図６に示す例では、画像による認識対象物に対して、他の車両２０に設けられるセンサ、衛星から取得される衛星画像、信号機に設けられるセンサ、周辺の地物に設けられる聴覚センサ、道路に設けられるセンサ、周辺の歩行者に設けられる脳波センサ、ミラーに設けられるセンサ、ガードレールに設けられるセンサ等を用いて、異常が判定される。
図６に示すような例では、道路標識や信号機などの認識対象物に対して、この認識対象物の周辺に設けられた各種センサからのセンサデータや衛星画像を用いて、認識対象物の異常を適切に判定、検出することが可能になる。なお、図６に示す例は、図６に示すセンサや画像を全て使用するという意図ではなく、少なくとも１つのセンサや画像が用いられればよい。
実施例２によれば、認識対象物以外の周辺の地物などの物体に設けれた各センサ３０からの各センサデータ等を用いて、認識対象物の異常を判定することが可能になり、認識対象物に生じた異常を検出することができる。
以上、実施例１及び２を含む実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
上記実施形態では、撮像装置は自動運転可能な車両２０に搭載されるが、撮像装置は、自律走行可能な飛行体にも搭載可能であり、また、移動ができない物体に搭載されてもよい。
また、上記実施形態では、各センサ３０は、位置情報を送信するようにしたが、自身に付与された識別情報（ＩＤ）を送信するようにしてもよい。この場合、情報処理装置１０の記憶部１８は、ＩＤごとに、センサの位置情報を対応付けて保持しておき、判定部１４は、センサのＩＤから位置情報を特定してもよい。
また、上記実施形態では、認識対象物自体に細工がされた場合に異常検出が可能なことを説明しているが、認識対象物を撮像した画像に対して１ピクセルアタックが行われた場合、認識対象物自体に細工がされたわけではないので異常を検出することは困難になる。この場合、周辺歩行者に設けられるセンサから取得されるデータの重みを大きくすることで、異常を検出することが可能になる。例えば、周辺歩行者に設けられる脳波センサからの脳波信号を示すセンサデータや、五感センサからのセンサデータの重みを大きくし、重量平均投票の学習手法を用いてアンサンブル学習することで、異常を検出することが可能になる。これは、画像自体に１ピクセルアタックの攻撃を受けて標識等を誤認識した結果、車両２０が危険な走行を行い、その状況を見た周辺歩行者が叫んだり、驚いたりすることで、周辺歩行者からのセンサデータから異常を検出することが可能になる。このセンサデータの重みが大きく設定されることで、画像に対して1ピクセルアタックがなされた場合でも、異常を検知することが可能になる。
また、各センサから出力されるセンサデータは、ブロックチェーン技術を用いて管理されてもよい。ブロックチェーンは、改ざんがほぼ不可能であることから、各センサから出力されたセンサデータが改ざんされることを防ぎ、システムの信頼性を向上させることができる。
１…情報処理システム、１０…情報処理装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…処理制御部、１２…第１取得部、１３…第２取得部、１４…判定部、１５…画像認識部、１５ａ…学習モデル、１６…異常判定部、１６ａ…学習モデル、１７…出力部、１８…記憶部

Claims (5)

  1. 情報処理装置に備えられるプロセッサが、
    所定の対象物又は前記所定の対象物近傍の物体に設けられる１又は複数のセンサから、各センサによりセンシングされる各データを取得すること、
    前記各データを用いて、前記所定の対象物が異常か否かを判定すること、
    前記所定の対象物に異常がある場合、前記所定の対象物に対する画像認識処理に関する装置に前記所定の対象物の異常を報知すること、
    を実行する、情報処理方法。
  2. 前記装置は、自動運転可能な車両に備えられる、請求項１に記載の情報処理方法。
  3. 前記報知することは、
    前記車両に搭載される撮像装置により撮像される画像から前記所定の対象物が認識される前に、前記異常を報知することを含む、請求項２に記載の情報処理方法。
  4. 情報処理装置に備えられるプロセッサに、
    所定の対象物又は前記所定の対象物近傍の物体に設けられる１又は複数のセンサから、各センサによりセンシングされる各データを取得すること、
    前記各データを用いて、前記所定の対象物が異常か否かを判定すること、
    前記所定の対象物に異常がある場合、前記所定の対象物に対する画像認識処理に関する装置に前記所定の対象物の異常を報知すること、
    を実行させる、プログラム。
  5. プロセッサを備える情報処理装置であって、
    前記プロセッサが、
    所定の対象物又は前記所定の対象物近傍の物体に設けられる１又は複数のセンサから、各センサによりセンシングされる各データを取得すること、
    前記各データを用いて、前記所定の対象物が異常か否かを判定すること、
    前記所定の対象物に異常がある場合、前記所定の対象物に対する画像認識処理に関する装置に前記所定の対象物の異常を報知すること、
    を実行する、情報処理装置。
JP2021171818A 2021-06-03 2021-10-20 情報処理方法、プログラム及び情報処理装置 Pending JP2022186572A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021171818A JP2022186572A (ja) 2021-06-03 2021-10-20 情報処理方法、プログラム及び情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021093690A JP6968475B1 (ja) 2021-06-03 2021-06-03 情報処理方法、プログラム及び情報処理装置
JP2021171818A JP2022186572A (ja) 2021-06-03 2021-10-20 情報処理方法、プログラム及び情報処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021093690A Division JP6968475B1 (ja) 2021-06-03 2021-06-03 情報処理方法、プログラム及び情報処理装置

Publications (1)

Publication Number Publication Date
JP2022186572A true JP2022186572A (ja) 2022-12-15

Family

ID=78509657

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021093690A Active JP6968475B1 (ja) 2021-06-03 2021-06-03 情報処理方法、プログラム及び情報処理装置
JP2021171818A Pending JP2022186572A (ja) 2021-06-03 2021-10-20 情報処理方法、プログラム及び情報処理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021093690A Active JP6968475B1 (ja) 2021-06-03 2021-06-03 情報処理方法、プログラム及び情報処理装置

Country Status (4)

Country Link
US (1) US20220392208A1 (ja)
EP (1) EP4099277A1 (ja)
JP (2) JP6968475B1 (ja)
CN (1) CN115509222B (ja)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
US7912645B2 (en) * 1997-10-22 2011-03-22 Intelligent Technologies International, Inc. Information transfer arrangement and method for vehicles
JP2009042918A (ja) * 2007-08-07 2009-02-26 Toyota Motor Corp 信号情報の異常判定装置。
JP2009266136A (ja) * 2008-04-29 2009-11-12 Mitsubishi Electric Corp 道路構造物異常検知装置
JP2013029899A (ja) * 2011-07-27 2013-02-07 Sanyo Electric Co Ltd 移動体通信装置及び走行支援方法
JP2016086237A (ja) * 2014-10-23 2016-05-19 協立電子工業株式会社 サーバ装置及び方法
DE102015205094A1 (de) * 2015-03-20 2016-09-22 Continental Automotive Gmbh Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts
CN107924632B (zh) * 2015-08-19 2022-05-31 索尼公司 信息处理设备、信息处理方法和程序
US9566986B1 (en) 2015-09-25 2017-02-14 International Business Machines Corporation Controlling driving modes of self-driving vehicles
CN107369326A (zh) * 2017-03-06 2017-11-21 扬州大学 一种应用于自动驾驶的智能交通灯设计系统
US11042163B2 (en) * 2018-01-07 2021-06-22 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
JP7183729B2 (ja) * 2018-11-26 2022-12-06 トヨタ自動車株式会社 撮影異常診断装置
CN109886210B (zh) * 2019-02-25 2022-07-19 百度在线网络技术（北京）有限公司 一种交通图像识别方法、装置、计算机设备和介质
CN111448476B (zh) * 2019-03-08 2023-10-31 深圳市大疆创新科技有限公司 在无人飞行器与地面载具之间共享绘图数据的技术
US11327497B2 (en) * 2019-06-21 2022-05-10 Volkswagen Ag Autonomous transportation vehicle image augmentation
JP7088137B2 (ja) * 2019-07-26 2022-06-21 トヨタ自動車株式会社 信号機情報管理システム
JP2022553491A (ja) * 2019-10-08 2022-12-23 モービルアイ ビジョン テクノロジーズ リミテッド 車両ナビゲーション用のシステムおよび方法
CN112287973A (zh) * 2020-09-28 2021-01-29 北京航空航天大学 基于截尾奇异值和像素插值的数字图像对抗样本防御方法

Also Published As

Publication number Publication date
EP4099277A1 (en) 2022-12-07
JP2022185827A (ja) 2022-12-15
CN115509222B (zh) 2024-03-12
JP6968475B1 (ja) 2021-11-17
CN115509222A (zh) 2022-12-23
US20220392208A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US10885777B2 (en) Multiple exposure event determination
US11501572B2 (en) Object behavior anomaly detection using neural networks
US20200369271A1 (en) Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
CN108571974B (zh) 使用摄像机的车辆定位
US9665802B2 (en) Object-centric fine-grained image classification
EP2201496B1 (en) Inattentive state determination device and method of determining inattentive state
JP5278419B2 (ja) 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
CN108470147A (zh) 使用单目摄像机和深度学习的自由空间检测
CN108073893B (zh) 使用距离数据检测植物
US11755917B2 (en) Generating depth from camera images and known depth data using neural networks
US20190318492A1 (en) Method for estimating lane information, and electronic device
JP2007122362A (ja) ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置
TWI712011B (zh) 安全警示語音提示方法
JP7374001B2 (ja) 学習モデルの生成方法、プログラム及び情報処理装置
US20200394838A1 (en) Generating Map Features Based on Aerial Data and Telemetry Data
CN112562406B (zh) 一种越线行驶的识别方法及装置
CN111344761A (zh) 车外交流装置、车外交流方法、信息处理装置和车外交流程序
CN116767281A (zh) 一种辅助驾驶方法、装置、设备、车辆和介质
Kuhn et al. Introspective failure prediction for autonomous driving using late fusion of state and camera information
CN115865988B (zh) 利用手机传感器网络的客船旅客踩踏事件监测系统及方法
JP2022186572A (ja) 情報処理方法、プログラム及び情報処理装置
US20240046779A1 (en) Driving determination system, driving determination method, and recording medium
JP7456210B2 (ja) 情報処理方法、情報処理装置、プログラム及び情報処理システム
Berri et al. ADAS classifier for driver monitoring and driving qualification using both internal and external vehicle data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240325