JP2021068056A - 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム - Google Patents

路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム Download PDF

Info

Publication number
JP2021068056A
JP2021068056A JP2019191439A JP2019191439A JP2021068056A JP 2021068056 A JP2021068056 A JP 2021068056A JP 2019191439 A JP2019191439 A JP 2019191439A JP 2019191439 A JP2019191439 A JP 2019191439A JP 2021068056 A JP2021068056 A JP 2021068056A
Authority
JP
Japan
Prior art keywords
image
road
road obstacle
semantic label
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019191439A
Other languages
English (en)
Other versions
JP7327077B2 (ja
Inventor
俊明 大串
Toshiaki Ogushi
俊明 大串
賢司 堀口
Kenji Horiguchi
賢司 堀口
正雄 山中
Masao Yamanaka
正雄 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019191439A priority Critical patent/JP7327077B2/ja
Priority to CN202011043879.XA priority patent/CN112686835B/zh
Priority to US17/069,328 priority patent/US11704828B2/en
Publication of JP2021068056A publication Critical patent/JP2021068056A/ja
Application granted granted Critical
Publication of JP7327077B2 publication Critical patent/JP7327077B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】意味的ラベルから路上障害物を推定する場合よりも、路上障害物の検知精度を向上可能な路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムを提供することを目的とする。【解決手段】路上障害物検知装置１０は、予め学習された識別器を用いて画像の画素毎に意味的ラベルを推定して、意味的ラベル画像を生成する意味的ラベル推定部１４と、意味的ラベル推定部１４によって生成された意味的ラベル画像から元画像を復元する元画像推定部１６と、元画像推定部１６によって復元された復元画像と、元画像との差分を算出する差分算出部１８と、差分算出部１８の算出結果に基づいて、路上障害物を検知する路上障害物検出部２０と、を含む。【選択図】図１

Description

本発明は、路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムに関する。
特許文献１には、画像に意味的ラベルを付与し、画像を局所領域に分割して、局所領域の意味的ラベルの確率から障害物らしさを算出することが開示されている。
具体的には、入力画像を複数の局所領域に分割する局所領域分割部と、対象局所領域に路上障害物が存在する確率を、当該対象局所領域が予め定められた正常物体ではない確率と、周辺局所領域と対象局所領域の関係によって定義される視覚的顕著度とに基づいて算出する尤度算出部と、を含む障害物検知装置が提案されている。ここで、視覚的顕著度は、周辺局所領域が道路である確率が高いほど大きく、かつ、対象局所領域と周辺局所領域の視覚的特徴の相違が大きいほど大きく算出される。
特開２０１８−１９４９１２号公報
しかしながら、特許文献１の技術では、障害物についても障害物またはその他として意味的ラベルを付与するため、意味的ラベルの付与に失敗した場合を考慮すると、路上障害物の検知精度を向上するためには改善の余地がある。
本発明は、上記事実を考慮して成されたもので、意味的ラベルから路上障害物を推定する場合よりも、路上障害物の検知精度を向上可能な路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムを提供することを目的とする。
上記目的を達成するために請求項１に記載の路上障害物検知装置は、予め学習された識別器を用いて画像の画素毎に意味的ラベルを推定して、意味的ラベル画像を生成する生成部と、前記生成部によって生成された意味的ラベル画像から元画像を復元する復元部と、前記復元部によって復元された復元画像と、元画像とを比較して路上障害物を検知する検知部と、を含む。
請求項１に記載の発明によれば、生成部では、予め学習された識別器を用いて画像の画素毎に意味的ラベルが推定されて、意味的ラベル画像が生成される。
復元部では、生成部によって生成された意味的ラベル画像から元画像が復元される。
そして、復元部によって復元された復元画像と、元画像とを比較して路上障害物が検知される。すなわち、路上障害物により意味的ラベルの推定ミスが発生した部位は、意味的ラベル画像から復元した復元画像と、元画像とを比較すると、大きく乖離するため、復元画像と元画像とを比較することで路上障害物を検知することができる。これにより、意味的ラベルから路上障害物を推定する場合よりも、路上障害物の検知精度を向上することが可能となる。
なお、検知部は、請求項２に記載の発明のように、復元画像と元画像の差分が予め定めた閾値以上の部分を路上障害物として検知してもよい。これにより、復元画像と元画像を比較することで路上障害物を検知できる。
また、請求項３に記載の発明のように、道路及び道路近隣領域を抽出する抽出部を更に備え、抽出部によって抽出した領域について路上障害物を検知してもよい。これにより、路上以外の余計な物体を路上障害物として検知することを抑制できる。
また、復元部は、請求項４に記載の発明のように、意味的ラベル毎または隣接する複数の意味的ラベル毎に元画像を復元してもよい。これにより、画像面積及び画像種別を限定して復元できるので、復元精度を向上できる。
また、請求項５に記載の発明のように、各意味的ラベルの領域要約情報を生成する要約生成部を更に含み、復元部が要約生成部によって生成された領域要約情報を用いて元画像を復元してもよい。これにより、意味的ラベルの推定が正しい部位について復元画像品質を向上させることで、意味的ラベルの推定が失敗している部位の検出精度（Ｓ／Ｎ）を高めることができる。
また、請求項６に記載の発明のように、識別器は、深層学習により学習され、復元部は、深層学習の途中層を用いて生成した意味的ラベル画像及び生成部によって生成された意味的ラベル画像を用いて意味的ラベル画像を復元してもよい。これにより、途中層の出力画像は、復元度が高くなるため、意味的ラベルの推定が正しい部位については復元画像の品質が向上し、意味的ラベルの推定が失敗している部位の検出精度（Ｓ／Ｎ）を向上することができる。
また、検知部は、請求項７に記載の発明のように、復元部によって復元された復元画像と、元画像とを比較して路上障害物の候補を検知して、検知した候補の危険度を算出し、予め定めた閾値以上の危険度の候補を路上障害物として検知してもよい。これにより、危険度が高い重要な路上障害物のみを検知することが可能となる。
また、請求項８に記載の発明のように、復元部は、復元方法が異なる複数種類の復元部を備え、検知部は、複数種類の復元部のそれぞれによって復元された復元画像と、元画像とをそれぞれ比較して、各比較結果に基づいて路上障害物を検知してもよい。このように、複数種類の復元部によって元画像を復元して元画像とそれぞれ比較して、各比較結果に基づいて路上障害物を検知することで、より正確に路上障害物の位置を推定することが可能となる。
一方、請求項９に記載の路上障害物検知方法は、コンピュータが実行する路上障害物検知方法であって、予め学習された識別器を用いて画像の画素毎に意味的ラベルを推定して、意味的ラベル画像を生成し、生成した意味的ラベル画像から元画像を復元して、復元した復元画像と、元画像とを比較して路上障害物を検知する。
請求項９に記載の発明によれば、請求項１に記載の発明と同様に、路上障害物により意味的ラベルの推定ミスが発生した部位は、意味的ラベル画像から復元した復元画像と、元画像とを比較すると、大きく乖離するため、復元画像と元画像とを比較することで路上障害物を検知することができる。これにより、意味的ラベルから路上障害物を推定する場合よりも、路上障害物の検知精度を向上することが可能となる。
なお、請求項１０に記載の発明のように、コンピュータを、請求項１〜８の何れか１項に記載の路上障害物の各部として機能させるための路上障害物検知プログラムとしてもよい。
以上説明したように本発明によれば、意味的ラベルから路上障害物を推定する場合よりも、路上障害物の検知精度を向上可能な路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムを提供できる、という効果がある。
第１実施形態に係る路上障害物検知システムの概略構成を示すブロック図である。 第１実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。 第２実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。 第２実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。 第３実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。 第３実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。 第４実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。 道路領域をランダムにマスクした例を示す図である。 第４実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。 第５実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。 第５実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。 第６実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。 第６実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。 第７実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。 第７実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。 意味的ラベル毎に複数のラベル画像例を用意しておき、意味的ラベルの大きさや形などの領域情報を元に過去のラベル画像を選択して復元画像を推定する構成例を示すブロック図である。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。以下では、車両に搭載された車載カメラで撮影することによって得られる画像から路上障害物を検知する路上障害物検知装置を一例として説明する。
（第１実施形態）
第１実施形態に係る路上障害物検知装置について説明する。図１は、第１実施形態に係る路上障害物検知システムの概略構成を示すブロック図である。
本実施形態に係る路上障害物検知装置１０は、図１に示すように、車載カメラ１２、生成部としての意味的ラベル推定部１４、復元部としての元画像推定部１６、差分算出部１８、及び路上障害物検出部２０を備えている。なお、差分算出部１８及び路上障害物検出部２０は検知部に対応する。
本実施形態に係る路上障害物検知装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を含むコンピュータを含む。例えば、ＲＯＭ等に記憶されたプログラムをＣＰＵが実行することにより、各部の機能を実現する。なお、意味的ラベル推定部１４、元画像推定部１６、差分算出部１８、及び路上障害物検出部２０は、単一のコンピュータが実行する形態としてもよいし、複数のコンピュータ、例えば、それぞれの機能別のコンピュータが実行する形態としてもよい。
車載カメラ１２は、車両に搭載されて、車両の前方等の車両周辺を撮影して、撮影した画像を表す画像情報を意味的ラベル推定部１４及び差分算出部１８に出力する。
意味的ラベル推定部１４は、例えば、深層学習によって予め学習した識別器及び学習済みパラメータを用いて、車載カメラ１２から得られる画像情報の画素毎の意味的ラベルを推定して意味的ラベルを付与することで、意味的ラベル画像に変換して元画像推定部１６に出力する。意味的ラベル推定部１４は、例えば、ＦＣＮ(Fully Convolutional Network)、ＲＮＮ（Recurrent Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＣＲＦ(Conditional random field)、ＣＲＦａｓＲＮＮ（Conditional Random Fields as Recurrent Neural Networks）等の周知の手法を用いて学習した識別器及び学習済みパラメータを用いて、画像情報を意味的ラベル画像に変換することができる。
元画像推定部１６は、意味的ラベル推定部１４によって変換された意味的ラベル画像から、元画像を復元し、元画像を表す元画像情報を差分算出部１８に出力する。元画像推定部１６は、例えば、深層学習によって予め学習した識別器及び学習済みパラメータを用いて、意味的ラベル画像から元画像を復元し、復元した復元画像情報を差分算出部１８に出力する。具体的には、元画像推定部１６は、畳み込み層（Convolution Layer）、活性化層（ReLU Layer Softmax Layer,etc）、プーリング層（Pooling Layer）、及びアップサンプル層などの要素を複数、層状に積み重ねたネットワークとして構成されている。
差分算出部１８は、車載カメラ１２からの画像情報と、元画像推定部１６が復元した復元画像情報の差分を算出し、算出結果を路上障害物検出部２０に出力する。差分算出部１８は、車載カメラ１２の画像情報Ｉ（ｘ、ｙ）と復元画像情報Ｐ（ｘ、ｙ）に対して、画素毎の単純な差分（Ｉ（ｘ，ｙ）−Ｐ（ｘ，ｙ））を計算してもよい。或は、画素毎の相関を以下の式で計算してもよい。
Figure 2021068056
或いは、差分算出部１８は、車載カメラ１２からの画像情報及び復元画像情報に対して予め定めた画像変換ｆ（・）を施した後に、差分比較を行ってもよい。すなわち、ｆ（ｌ（ｘ、ｙ））−ｆ（Ｐ（ｘ，ｙ））を算出してもよい。なお、画像変換ｆ（・）の一例としては、深層学習器（例えば、vgg16、vgg19等）の隠れ層出力を用いるperceptual lossを用いてもよい。
路上障害物検出部２０は、差分算出部１８の算出結果に基づいて、予め定めた閾値以上の差が発生する部分は、意味的ラベルの誤推定があると判定し、路上障害物を検知する。すなわち、意味的ラベルの推定ミスが発生した部位は、復元画像も元の画像と大きく乖離するため、この乖離した部分を路上障害物として検知できる。例えば、図１に示すように、車載カメラ１２によって撮影された画像に対して意味的ラベルの推定ミスが発生すると、ラベル推定ミス部分は復元画像も復元されずに復元ミス部分が現れるので、元画像と復元画像の差分を取ることで路上障害物として検知することが可能となる。
続いて、上述のように構成された本実施形態に係る路上障害物検知装置１０で行われる処理について具体的に説明する。図２は、本実施形態に係る路上障害物検知装置１０で行われる処理の流れの一例を示すフローチャートである。
ステップ１００では、意味的ラベル推定部１４が、車載カメラ１２が撮影した評価対象の画像から意味的ラベル画像を推定してステップ１０２へ移行する。例えば、深層学習によって予め学習した識別器及び学習済みパラメータを用いて、車載カメラ１２から得られる画像情報の画素毎の意味的ラベルを推定して意味的ラベルを付与することで、意味的ラベル画像に変換する。
ステップ１０２では、元画像推定部１６が、意味的ラベル推定部１４から出力された意味的ラベル画像を元の画像に復元してステップ１０４へ移行する。例えば、深層学習によって予め学習した識別器及び学習済みパラメータを用いて、意味的ラベル画像から元画像を復元する。
ステップ１０４では、差分算出部１８が、復元した画像と元の評価対象の画像の差分を算出してステップ１０６へ移行する。例えば、車載カメラ１２からの元の画像情報と復元された画像情報の画素毎の単純な差分を算出する。或いは、車載カメラ１２からの元の画像情報及び復元された画像情報の各々に対して予め定めた画像変換を施した後に、差分を算出してもよい。
ステップ１０６では、路上障害物検出部２０が、算出した差分が予め定めた閾値以上の領域があるか否かを判定する。該判定が肯定された場合にはステップ１０８へ移行し、否定された場合には一連の処理を終了する。
ステップ１０８では、路上障害物検出部２０が、閾値以上の乖離部分を路上障害物として検知して一連の処理を終了する。
このように、本実施形態では、意味的ラベルの推定ミスが発生した部位は、意味的ラベル画像から復元した復元画像と、元画像とを比較すると、大きく乖離するため、乖離する部分を路上障害物として検知することができる。これにより、出現頻度が低く意味的ラベルの推定が失敗しがちな路上障害物を確実に検知することが可能となる。
（第２実施形態）
続いて、第２実施形態に係る路上障害物検知装置について説明する。図３は、第２実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して詳細な説明を省略する。
本実施形態に係る路上障害物検知装置１１は、第１実施形態に対して、抽出部としての道路及び道路隣接領域抽出部２２を更に備えている。
道路及び道路隣接領域抽出部２２は、意味的ラベル推定部１４から意味的ラベル画像を取得して、道路及び道路に隣接する領域を抽出し、抽出結果を路上障害物検出部２０に出力する。なお、以下では、道路に隣接する領域を道路隣接領域と称す場合がある。
そして、路上障害物検出部２０が、道路及び道路隣接領域抽出部２２の抽出結果に基づいて、差分算出部１８の算出結果に対してマスクをかけることにより、路上障害物を検出する検出領域を道路及び道路に隣接する領域に制限する。これにより、路上以外の余計な物体を検出しないようにする。例えば、道路遠方物体の復元ミスは無視する。
次に、本実施形態に係る路上障害物検知装置１１で行われる具体的な処理について説明する。図４は、本実施形態に係る路上障害物検知装置１１で行われる処理の流れの一例を示すフローチャートである。なお、図２と同一処理については同一符号を付して詳細な説明は省略する。
すなわち、ステップ１００からステップ１０４までは上述した処理が行なわれた後に、ステップ１０５へ移行する。
ステップ１０５では、道路及び道路隣接領域抽出部２２が、意味的ラベル推定部１４から意味的ラベル画像を取得して、道路及び道路隣接領域を抽出してステップ１０６へ移行する。
ステップ１０６では、路上障害物検出部２０が、算出した差分が予め定めた閾値以上の領域があるか否かを判定する。該判定が肯定された場合にはステップ１０８へ移行し、否定された場合には一連の処理を終了する。ここで、本実施形態では、路上障害物検出部２０が、算出した差分が予め定めた閾値以上の領域があるか否かを判定する際に、対象とする領域を制限する。すなわち、道路及び道路隣接領域抽出部２２の抽出結果に基づいて、差分算出部１８の算出結果に対してマスクをかけて、路上障害物を検出する検出領域を道路及び道路に隣接する領域に制限する。これにより、路上以外の余計な物体を路上障害物として検出することを抑制できる。
（第３実施形態）
続いて、第３実施形態に係る路上障害物検知装置について説明する。図５は、第３実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して詳細な説明を省略する。
本実施形態に係る路上障害物検知装置１３は、第１実施形態の元画像推定部１６とは一部異なる処理を行う元画像推定部１７が設けられている。
本実施形態における元画像推定部１７は、ラベル１領域画像復元部１７Ａ、ラベル２領域画像復元部１７Ｂ、・・・、及びラベルＮ領域画像復元部１７Ｎを含む複数のラベル領域画像復元部、並びに、画像合成部１７Ｄを備えている。
ラベル１領域画像復元部１７Ａ、ラベル２領域画像復元部１７Ｂ、・・・、及びラベルＮ領域画像復元部１７Ｎは、各意味的ラベルに対応して設けられ、ラベル毎に意味的ラベル画像を復元する。これにより、ラベル領域画像復元部が担当する画像面積及び画像種別が限定されるので、復元精度を向上できる。なお、ラベル領域画像復元部は、１ラベル毎に設けてもよいが、複数ラベル毎に設けてもよい。複数ラベル毎に設けることで、隣接するラベルから復元すれば復元精度が向上する。また、１ラベル毎に設けるより計算リソースが少なくて済む。また、復元重要度に応じてラベル領域画像復元部の計算リソースを変更してもよい。復元重要度の例としては、路上近接オブジェほど重要、ラベル領域の大きさ、画像複雑さ（例えば、画素輝度の分散など）等が挙げられる。
画像合成部１７Ｄは、複数のラベル領域画像復元部によってそれぞれ復元されたラベル毎の復元画像を合成することにより、全体の復元画像を生成する。
次に、本実施形態に係る路上障害物検知装置１３で行われる具体的な処理について説明する。図６は、本実施形態に係る路上障害物検知装置１３で行われる処理の流れの一例を示すフローチャートである。なお、図２と同一処理については同一符号を付して詳細な説明は省略する。
上述したステップ１００によって意味的ラベル画像を推定すると、ステップ１０１へ移行する。
ステップ１０１では、ラベル１領域画像復元部１７Ａ、ラベル２領域画像復元部１７Ｂ、・・・、及びラベルＮ領域画像復元部１７Ｎの各ラベル領域復元部が、意味的ラベル画像を元の画像に復元してステップ１０３へ移行する。
ステップ１０３では、画像合成部１７Ｄが、複数のラベル領域画像復元部によってそれぞれ復元されたラベル毎の復元画像を合成することにより、全体の復元画像を生成してステップ１０４へ移行して、以降は上述のステップ１０４〜１０８の処理を行う。
このように、意味的ラベル毎にラベル領域画像復元部を備えることで、各ラベル領域画像復元部が担当する画像面積及び画像種別が限定されるので、各意味的ラベル領域における復元精度を向上できる。そして、復元精度を向上したラベル領域を合成して元の画像を復元するので、復元された画像の復元精度も向上できる。
（第４実施形態）
続いて、第４実施形態に係る路上障害物検知装置について説明する。図７は、第４実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して詳細な説明を省略する。
本実施形態に係る路上障害物検知装置１５は、第１実施形態に対して、要約生成部としての各意味的ラベル領域要約情報生成部２４を更に備えている。
各意味的ラベル領域要約情報生成部２４は、車載カメラ１２から画像情報を取得すると共に、意味的ラベル推定部１４から意味的ラベル画像を取得する。そして、取得した画像情報及び意味的ラベル画像から、各意味的ラベルの領域要約情報を生成して、元画像推定部１６に出力する。領域要約情報としては、例えば、各意味的ラベルの色の平均、最大値、最小値、標準偏差、領域面積、空間周波数、エッジ画像（例えば、画像からエッジ画を近似的に抽出するアルゴリズムであるcanny法等）、部分マスク画像等が挙げられる。なお、部分マスク画像の一例を図８に示す。図８では、道路領域をランダムにマスクした例を示す。
そして、元画像推定部１６は、意味的ラベル画像から元画像を復元する際に、各意味的ラベル領域要約情報生成部２４が生成した意味的ラベルの領域要約情報を利用して、意味的ラベル画像から元画像を復元する。これにより、意味的ラベルの推定が正しい部位について復元画像品質を向上させることで、意味的ラベルの推定が失敗している部位の検出精度（Ｓ／Ｎ）を高めることができる。
次に、本実施形態に係る路上障害物検知装置１５で行われる具体的な処理について説明する。図９は、本実施形態に係る路上障害物検知装置１５で行われる処理の流れの一例を示すフローチャートである。なお、図２と同一処理については同一符号を付して詳細な説明は省略する。
上述したステップ１００によって意味的ラベル画像を推定すると、ステップ１０１Ａへ移行する。
ステップ１０１Ａでは、各意味的ラベル領域要約情報生成部２４が、車載カメラ１２が撮影した評価対象の画像情報と意味的ラベル画像とを用いて、各意味的ラベルの領域要約情報を生成してステップ１０３Ａへ移行する。
ステップ１０３Ａでは、元画像推定部１６が、各意味的ラベル領域要約情報生成部２４が生成した意味的ラベルの領域要約情報を利用して、意味的ラベル画像から元画像を復元してステップ１０４へ移行して、以降は上述のステップ１０４〜１０８の処理を行う。
このように、本実施形態では、各意味的ラベル領域要約情報生成部２４が各意味的ラベルの領域要約情報を生成し、意味的ラベル画像から元画像を復元する際に、領域要約情報を利用するで、意味的ラベルの推定が正しい部位について復元画像品質を向上させて、意味的ラベルの推定が失敗している部位の検出精度（Ｓ／Ｎ）を高めることができる。
（第５実施形態）
続いて、第５実施形態に係る路上障害物検知装置について説明する。図１０は、第５実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して詳細な説明を省略する。
本実施形態に係る路上障害物検知装置１９では、第１実施形態において、意味的ラベル推定部１４が、深層学習の途中層となる隠れ層で推定された意味的ラベルの推定結果も元画像推定部１６に出力するように構成したものである。すなわち、意味的ラベル推定部１４は、最終層１４Ｂで推定された意味的ラベル画像と、意味的ラベルに完全に抽象化されていない隠れ層１４Ａの出力画像を元画像推定部１６に入力する。
そして、元画像推定部１６は、意味的ラベル推定部１４によって推定された意味的ラベル画像と、隠れ層１４Ａの完全に抽象化されていない出力画像とに基づいて、元画像を復元する。隠れ層１４Ａの出力画像は、復元度が高くなるため、意味的ラベルの推定が正しい部位については復元画像の品質が向上し、意味的ラベルの推定が失敗している部位の検出精度（Ｓ／Ｎ）が向上する。
次に、本実施形態に係る路上障害物検知装置１９で行われる具体的な処理について説明する。図１１は、本実施形態に係る路上障害物検知装置１９で行われる処理の流れの一例を示すフローチャートである。なお、図２と同一処理については同一符号を付して詳細な説明は省略する。
ステップ１００Ａでは、意味的ラベル推定部１４が、車載カメラ１２が撮影した評価対象の画像から意味的ラベル画像を推定し、推定途中の隠れ層１４Ａの出力画像と共に、意味的ラベル画像を出力してステップ１０２Ａへ移行する。すなわち、深層学習によって予め学習した識別器及び学習済みパラメータを用いて、車載カメラ１２から得られる画像情報の画素毎の意味的ラベルを推定して意味的ラベルを付与することで、意味的ラベル画像に変換して元画像推定部１６に出力する。また、深層学習の途中の隠れ層の出力画像も出力する。
ステップ１０２Ａでは、元画像推定部１６が、意味的ラベル推定部１４によって推定された意味的ラベル画像と、隠れ層１４Ａの完全に抽象化されていない出力画像とに基づいて、元画像を復元してステップ１０４へ移行して、以降は上述のステップ１０４〜１０８の処理を行う。
このように、本実施形態では、意味的ラベル画像から元画像を復元する際に、意味的ラベルを深層学習で推定する際の途中の隠れ層１４Ａの出力画像も用いて復元することで、意味的ラベルの推定が正しい部位の復元画像の品質を向上することが可能となる。これにより、意味的ラベルの推定が失敗している部の検出精度（Ｓ／Ｎ）を向上することが可能となる。
（第６実施形態）
続いて、第６実施形態に係る路上障害物検知装置について説明する。図１２は、第６実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して詳細な説明を省略する。
本実施形態に係る路上障害物検知装置２１は、第１実施形態に対して、ポスト処理部２６を更に備えている。なお、差分算出部１８、路上障害物検出部２０、及びポスト処理部２６は、予め定めた閾値以上の危険度の障害物を路上障害物として検知する検知部に対応する。
ポスト処理部２６は、路上障害物検出部２０によって検出された路上障害物を路上障害物の候補として、候補の危険度を算出し、予め定めた閾値以上の危険度のものを路上障害物とする処理を行う。これにより、重要な路上障害物のみを検知できる。
ポスト処理部２６は、例えば、障害物面積、障害物車線位置、ブラックリスト物体マッチ、物体らしさ、白線に基づいた障害物までの距離、及び視覚的顕著度の少なくとも１つに基づいて路上障害物の危険度を算出する。なお、障害物面積は、例えば、道路面積に対してどれくらいの面積であるかを危険度として算出する。また、障害物車線位置は、自車線からどれくらい離れているかを危険度として算出する。また、ブラックリスト物体マッチングは、予め定めた危険な障害物のテンプレートとのマッチング度合い、または物体検知機能の結果を利用して危険度を算出する。また、物体らしさは、境界が明瞭かつ閉じている塊として検出し易いかを示す指標（例えば、“What is an object?”Bogdan Alexe, Thomas Deselaers, Vittorio Ferrari:CVPR 2010: 73-80等）を危険度として算出する。また、視覚的顕著度は、特開２０１８−１９４９１２号公報に記載の技術を用いて視覚的顕著度を危険度として算出する。
次に、本実施形態に係る路上障害物検知装置２１で行われる具体的な処理について説明する。図１３は、本実施形態に係る路上障害物検知装置２１で行われる処理の流れの一例を示すフローチャートである。なお、図２と同一処理については同一符号を付して詳細な説明は省略する。
すなわち、ステップ１００からステップ１０６までは上述した処理が行なわれた後に、ステップ１０７Ａへ移行する。
ステップ１０７Ａでは、ポスト処理部２６が、元画像と復元画像との乖離部分の危険度を算出してステップ１０７Ｂへ移行する。すなわち、路上障害物検出部２０が検出した路上障害物の部分について危険度を算出する。
ステップ１０７Ｂでは、ポスト処理部２６が、予め定めた閾値以上の危険度であるか否かを判定する。該判定が肯定された場合には上述のステップ１０８へ移行して路上障害物と判定し、否定された場合には一連の処理を終了する。すなわち、危険度が閾値以上の危険度が高い重要な路上障害物のみを路上障害物として検知することができる。
（第７実施形態）
続いて、第７実施形態に係る路上障害物検知装置について説明する。図１４は、第７実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して詳細な説明を省略する。
本実施形態に係る路上障害物検知装置２３では、第１実施形態の元画像推定部１６及び差分算出部１８がそれぞれ複数（Ｎ個）設けられている。
複数の元画像推定部１６は、それぞれ異なるニューラルネットワークサイズが異なるもので元画像を推定してもよいし、異なる種類の深層学習で元画像を推定してもよい。
複数の元画像推定部１６のそれぞれに対して差分算出部１８が設けられ、それぞれの元画像推定部１６の推定結果に対して元画像と比較した結果を路上障害物検出部２０に出力する。
そして、路上障害物検出部２０は、複数の差分画像から路上障害物の位置を検出する。例えば、路上障害物検出部２０は、複数の差分画像の論理積（ＡＮＤ）、論理和（ＯＲ）、または予め定めた数以上、同じ箇所に閾値以上の乖離が認められる箇所、もしくは複数差分画像の重み付き和が閾値以上の乖離が認められる箇所を路上障害物として検出する。
次に、本実施形態に係る路上障害物検知装置２３で行われる具体的な処理について説明する。図１５は、本実施形態に係る路上障害物検知装置２３で行われる処理の流れの一例を示すフローチャートである。なお、図２と同一処理については同一符号を付して詳細な説明は省略する。
上述したステップ１００によって意味的ラベル画像を推定すると、ステップ１０２Ｂへ移行する。
ステップ１０２Ｂでは、複数の元画像推定部１６で意味的ラベル画像を復元してステップ１０４Ａへ移行する。
ステップ１０４Ａでは、複数の差分算出部１８が、復元した複数の復元画像それぞれについて元の評価対象の画像との差分を算出してステップ１１０へ移行する。
ステップ１１０では、路上障害物検出部２０が、路上障害物条件が成立したか否かを判定する。該判定は、例えば、複数の差分画像の論理積（ＡＮＤ）、論理和（ＯＲ）、または予め定めた数以上、同じ箇所に閾値以上の乖離が認められる箇所、もしくは複数差分画像の重み付き和が閾値以上の乖離が認められる箇所を路上障害物として検出することにより、路上障害物条件が成立した領域があるか否かを判定する。該判定が肯定された場合にはステップ１１２へ移行し、否定された場合には一連の処理を終了する。
ステップ１１２では、路上障害物検出部２０が、路上障害物条件が成立した部分を路上障害物として検知して一連の処理を終了する。
このように、複数の元画像推定部１６によって元画像を推定して元画像との乖離部分を判定することで、より正確に路上障害物の位置を推定することが可能となる。
なお、上記の実施形態では、元画像推定部１６が深層学習を用いて意味的ラベル画像から元画像を推定する例を説明したが、これに限るものではなく、深層学習以外の方法を用いて元画像を推定する形態でもよい。例えば、意味的ラベル毎に複数のラベル画像例を用意しておき、意味的ラベルの大きさや形などの領域情報を元に過去のラベル画像を選択して復元画像を推定してもよい。具体的には、図１６に示すように、意味的ラベル毎のラベル画像選択部（ラベル１画像選択部３０Ａ〜ラベルＮ画像選択部３０Ｎ）３０と、ラベル画像選択部３０に対応するラベル１画像ＤＢ（データベース）３２Ａ〜ラベルＮ画像ＤＢ３２Ｎからなるラベル画像ＤＢ３２と、画像合成部３４とを備える。各ラベル画像選択部３０は、意味的ラベルの大きさや形等の領域情報を元に類似する過去のラベル画像を選択し、画像合成部３４にて選択された各ラベル画像を合成して復元画像を生成する。
また、上記の各実施形態は、それぞれ個別に説明したが、これに限定されるものではなく、複数の実施形態を適宜組み合わせた形態としてもよい。
また、上記の各実施形態における路上障害物検知装置１０、１１、１３、１５、１９、２１、２３の各部で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、これに限るものではない。例えば、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０、１１、１３、１５、１９、２１、２３ 路上障害物検知システム
１２ 車載カメラ
１４ 意味的ラベル推定部
１４Ａ 隠れ層
１６、１７ 元画像推定部
１８ 差分算出部
２０ 路上障害物検出部
２２ 道路及び道路隣接領域抽出部
２４ 各意味的ラベル領域要約情報生成部
２６ ポスト処理部
３０Ａ ラベル１画像選択部
３０Ｎ ラベルＮ画像選択部
３２Ａ ラベル１画像ＤＢ
３２Ｎ ラベルＮ画像ＤＢ
３４ 画像合成部

Claims (10)

  1. 予め学習された識別器を用いて画像の画素毎に意味的ラベルを推定して、意味的ラベル画像を生成する生成部と、
    前記生成部によって生成された意味的ラベル画像から元画像を復元する復元部と、
    前記復元部によって復元された復元画像と、元画像とを比較して路上障害物を検知する検知部と、
    を含む路上障害物検知装置。
  2. 前記検知部は、前記復元画像と前記元画像の差分が予め定めた閾値以上の部分を路上障害物として検知する請求項１に記載の路上障害物検知装置。
  3. 道路及び道路近隣領域を抽出する抽出部を更に備え、前記抽出部によって抽出した領域について路上障害物を検知する請求項１又は請求項２に記載の路上障害物検知装置。
  4. 前記復元部は、前記意味的ラベル毎または隣接する複数の意味的ラベル毎に元画像を復元する請求項１又は請求項２に記載の路上障害物検知装置。
  5. 各意味的ラベルの領域要約情報を生成する要約生成部を更に含み、前記復元部が前記要約生成部によって生成された前記領域要約情報を用いて元画像を復元する請求項１又は請求項２に記載の路上障害物検知装置。
  6. 前記識別器は、深層学習により学習され、前記復元部は、前記深層学習の途中層を用いて生成した意味的ラベル画像及び前記生成部によって生成された意味的ラベル画像を用いて意味的ラベル画像を復元する請求項１又は請求項２に記載の路上障害物検知装置。
  7. 前記検知部は、前記復元部によって復元された復元画像と、元画像とを比較して路上障害物の候補を検知して、検知した前記候補の危険度を算出し、予め定めた閾値以上の危険度の前記候補を路上障害物として検知する請求項１〜６の何れか１項に記載の路上障害物検知装置。
  8. 前記復元部は、復元方法が異なる複数種類の復元部を備え、
    前記検知部は、前記複数種類の復元部のそれぞれによって復元された復元画像と、元画像とをそれぞれ比較して、各比較結果に基づいて路上障害物を検知する請求項１〜７の何れか１項に記載の路上障害物検知装置。
  9. コンピュータが実行する路上障害物検知方法であって、
    予め学習された識別器を用いて画像の画素毎に意味的ラベルを推定して、意味的ラベル画像を生成し、
    生成した意味的ラベル画像から元画像を復元して、復元した復元画像と、元画像とを比較して路上障害物を検知する路上障害物検知方法。
  10. コンピュータを、請求項１〜８の何れか１項に記載の路上障害物の各部として機能させるための路上障害物検知プログラム。
JP2019191439A 2019-10-18 2019-10-18 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム Active JP7327077B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019191439A JP7327077B2 (ja) 2019-10-18 2019-10-18 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN202011043879.XA CN112686835B (zh) 2019-10-18 2020-09-28 路上障碍物检测装置、方法及计算机可读存储介质
US17/069,328 US11704828B2 (en) 2019-10-18 2020-10-13 Road obstacle detection device, road obstacle detection method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019191439A JP7327077B2 (ja) 2019-10-18 2019-10-18 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Publications (2)

Publication Number Publication Date
JP2021068056A true JP2021068056A (ja) 2021-04-30
JP7327077B2 JP7327077B2 (ja) 2023-08-16

Family

ID=75445405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019191439A Active JP7327077B2 (ja) 2019-10-18 2019-10-18 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Country Status (3)

Country Link
US (1) US11704828B2 (ja)
JP (1) JP7327077B2 (ja)
CN (1) CN112686835B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US11645505B2 (en) * 2020-01-17 2023-05-09 Servicenow Canada Inc. Method and system for generating a vector representation of an image
JP7310718B2 (ja) * 2020-05-27 2023-07-19 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
GB2624926A (en) * 2022-12-01 2024-06-05 Continental Autonomous Mobility Germany GmbH A computer-implemented method for reducing false positives in a computer vision task and application thereof to motor vehicle exterior monitoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170568A (ja) * 2010-02-17 2011-09-01 Fujitsu Ten Ltd 障害物検出装置、及び障害物検出方法
JP2012226556A (ja) * 2011-04-20 2012-11-15 Nissan Motor Co Ltd 走行支援装置
JP2015042952A (ja) * 2013-08-26 2015-03-05 シャープ株式会社 障害物検知装置および電動車両
JP2018194912A (ja) * 2017-05-12 2018-12-06 トヨタ自動車株式会社 路上障害物検出装置，方法，およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328630A (ja) 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
EP3551967A2 (en) * 2016-12-09 2019-10-16 TomTom Global Content B.V. Method and system for video-based positioning and mapping
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
WO2019026714A1 (ja) * 2017-08-04 2019-02-07 ソニー株式会社 情報処理装置、および情報処理方法、プログラム、並びに移動体
CN108909624B (zh) * 2018-05-13 2021-05-18 西北工业大学 一种基于单目视觉的实时障碍物检测和定位方法
WO2021033215A1 (ja) * 2019-08-16 2021-02-25 Hoya株式会社 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
JP7215390B2 (ja) * 2019-10-10 2023-01-31 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
JP7310718B2 (ja) * 2020-05-27 2023-07-19 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
JP7294275B2 (ja) * 2020-08-25 2023-06-20 トヨタ自動車株式会社 画像処理装置、画像処理プログラムおよび画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170568A (ja) * 2010-02-17 2011-09-01 Fujitsu Ten Ltd 障害物検出装置、及び障害物検出方法
JP2012226556A (ja) * 2011-04-20 2012-11-15 Nissan Motor Co Ltd 走行支援装置
JP2015042952A (ja) * 2013-08-26 2015-03-05 シャープ株式会社 障害物検知装置および電動車両
JP2018194912A (ja) * 2017-05-12 2018-12-06 トヨタ自動車株式会社 路上障害物検出装置，方法，およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KRZYSZTOF LIS ET AL.: "Detecting the Unexpected via Image Resynthesis", ARXIV.ORG [ONLINE], vol. arXiv:1904.07595v2, JPN7022005195, 17 April 2019 (2019-04-17), US, pages 1 - 18, ISSN: 0005051499 *
篠崎 隆志: "ＧＡＮ−敵対的生成ネットワーク−の発展", 人工知能, vol. 第33巻 第2号, JPN6022046704, 1 March 2018 (2018-03-01), JP, pages 181 - 188, ISSN: 0005051498 *

Also Published As

Publication number Publication date
CN112686835B (zh) 2024-05-14
JP7327077B2 (ja) 2023-08-16
CN112686835A (zh) 2021-04-20
US20210117703A1 (en) 2021-04-22
US11704828B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
US20200364443A1 (en) Method for acquiring motion track and device thereof, storage medium, and terminal
Matern et al. Exploiting visual artifacts to expose deepfakes and face manipulations
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN107529650B (zh) 闭环检测方法、装置及计算机设备
US8948500B2 (en) Method of automatically training a classifier hierarchy by dynamic grouping the training samples
KR101385599B1 (ko) 몽타주 추론 방법 및 장치
US20230134967A1 (en) Method for recognizing activities using separate spatial and temporal attention weights
CN111126412B (zh) 基于特征金字塔网络的图像关键点检测方法
CN110222604B (zh) 基于共享卷积神经网络的目标识别方法和装置
SanMiguel et al. Adaptive online performance evaluation of video trackers
Pezzementi et al. Putting image manipulations in context: robustness testing for safe perception
KR20190054702A (ko) 영상에서 객체의 행동을 인식하는 방법 및 그 장치
CN112614187A (zh) 回环检测方法、装置、终端设备和可读存储介质
KR102552968B1 (ko) 다중 객체 추적 방법 및 이를 위한 장치
CN111652181B (zh) 目标跟踪方法、装置及电子设备
WO2012046426A1 (ja) 物体検出装置、物体検出方法および物体検出プログラム
WO2022003740A1 (en) Method for determining the confidence of a disparity map through a self-adaptive learning of a neural network, and sensor system thereof
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN116092183A (zh) 手势识别方法及装置、电子设备、存储介质
US8428369B2 (en) Information processing apparatus, information processing method, and program
CN115424323A (zh) 风电场权限管理系统及其方法
Yang et al. No-reference image quality assessment focusing on human facial region
Yang et al. Video anomaly detection for surveillance based on effective frame area
CN117197746A (zh) 基于深度学习的安全监测系统及方法
EP3076370B1 (en) Method and system for selecting optimum values for parameter set for disparity calculation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R151 Written notification of patent or utility model registration

Ref document number: 7327077

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151