JP2022191007A - 検知枠位置精度向上システム、及び検知枠位置補正方法 - Google Patents
検知枠位置精度向上システム、及び検知枠位置補正方法 Download PDFInfo
- Publication number
- JP2022191007A JP2022191007A JP2021099602A JP2021099602A JP2022191007A JP 2022191007 A JP2022191007 A JP 2022191007A JP 2021099602 A JP2021099602 A JP 2021099602A JP 2021099602 A JP2021099602 A JP 2021099602A JP 2022191007 A JP2022191007 A JP 2022191007A
- Authority
- JP
- Japan
- Prior art keywords
- detection frame
- detection
- time
- correction target
- frame position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 428
- 238000012937 correction Methods 0.000 title claims abstract description 105
- 230000006872 improvement Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000009826 distribution Methods 0.000 claims abstract description 83
- 238000005070 sampling Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
【課題】対象フレーム前後の情報を利用して、検知枠位置を高精度に推定することができる検知枠位置精度向上システム、及び検知枠位置補正方法を提供する。【解決手段】時系列の画像を入力する時系列画像入力部10と、前記時系列の画像で対象物を検知する物体検知部20と、時刻t-1(tは正の整数)までの前記対象物の検知結果から時刻tの検知枠位置座標の分布を推定する検知枠位置分布推定部30と、前記検知結果と前記分布に従い時刻t+1~t+n(nは正の整数)の検知枠の位置を予測する検知枠予測部40と、時刻t+1~t+nにおいて前記対象物の検知結果と前記予測した検知枠との重なり度合いにより時刻tにおける検知枠位置座標の分布を更新し、時刻tにおける検知枠の不確実性を推定する検知枠不確実性推定部50と、前記検知枠と前記不確実性に基づき、時刻tにおける前記検知枠を補正する検知枠補正部60と、を備える。【選択図】図1
Description
本発明は、検知枠位置精度向上システム、及び検知枠位置補正方法に関する。
車載カメラの普及等により、取得できる車両データの多様性が増加している。これにより、事故発生時等において、取得した車両データを記録した記録端末装置の情報を用いた客観的な状況把握や原因解析のニーズが高まっている。車載カメラの画像(カメラ画像)を用いた状況把握や原因解析においては、検知枠(カメラ画像における前方車両等の対象物の大きさ)の位置精度が重要である。
検知枠位置精度の向上において、特許第6614247号公報(特許文献1)に記載の技術がある。この公報には、「現在のフレームに対する前のフレームにおける物体の位置から、現在のフレームにおける物体の位置を予測して予測領域を特定する予測手段と、前のフレームにおける物体の距離に基づいて、物体が第1距離域に存在するか、第1距離域よりも遠い第2距離域に存在するかを判定する判定手段と、判定手段により物体が第1距離域に存在すると判定された場合、現在のフレームの予測領域において、前のフレームの物体についての第1テンプレートを用いたテンプレートマッチングを行い、物体を検出する第1マッチング処理手段と、判定手段により物体が第2距離域に存在すると判定された場合、現在のフレームの予測領域において、前のフレームの物体についての、第1テンプレートとは異なる第2テンプレートを用いたテンプレートマッチングを行い、物体を検出する第2マッチング処理手段と、を備えた」という記載がある。
上記特許文献1では、対象のフレームの前のフレームのみを用いて高精度に検知枠位置を推定しようとしている。そのため、対象のフレームの検知枠位置精度の向上は、前のフレームにおける検知枠位置精度が良い場合に限定されており、対象フレーム前後を利用した検知枠位置修正による検知枠位置精度の向上について想定されていない。
そこで、本発明では、上記事情に鑑み、対象フレーム前後の情報を利用して、検知枠位置を高精度に推定することができる検知枠位置精度向上システム、及び検知枠位置補正方法を提供することを目的とする。
上記課題を解決するために、代表的な本発明の検知枠位置精度向上システムの一つは、時系列の画像を入力する時系列画像入力部と、前記時系列の画像で対象物を検知する物体検知部と、補正対象時刻より前の時刻までの前記対象物の検知結果から補正対象時刻の検知枠位置座標の分布を推定する検知枠位置分布推定部と、前記検知結果と前記分布に従い補正対象時刻より後の時刻の検知枠の位置を予測する検知枠予測部と、補正対象時刻より後の時刻において前記対象物の検知結果と前記予測した検知枠との重なり度合いにより補正対象時刻における検知枠位置座標の分布を更新し、補正対象時刻における検知枠の不確実性を推定する検知枠不確実性推定部と、前記検知枠と前記不確実性に基づき、補正対象時刻における前記検知枠を補正する検知枠補正部と、を備えることを特徴とする。
本発明によれば、検知枠位置の精度を向上させることが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明の実施例を図面を用いて説明する。
[実施例1]
図1は本発明の実施例1のブロック図である。本実施例では、車両から得られたセンサー情報に適用した場合について説明する。図1に示す検知枠位置精度向上システム1は、時系列画像や測距センサーを利用して、画像上における対象物の検知枠位置をオフラインで補正するシステムである。
図1は本発明の実施例1のブロック図である。本実施例では、車両から得られたセンサー情報に適用した場合について説明する。図1に示す検知枠位置精度向上システム1は、時系列画像や測距センサーを利用して、画像上における対象物の検知枠位置をオフラインで補正するシステムである。
なお、以下の説明において、補正を実施する(詳しくは、補正を行う必要があるか否かを判定し、必要と判定した場合に補正を行う)補正対象時刻を時刻t(tは正の整数)とし、補正対象時刻より前の(過去の)時刻を時刻t-n(nは正の整数)、補正対象時刻より後の(未来の)時刻を時刻t+n(nは正の整数)と表記する。
また、以下の説明においては、例えば先行車両等の車両を検知・補正対象としているが、車両のみに限定されないことは勿論である。
図1に示す検知枠位置精度向上システム1は、本システムとは別に車両に搭載されたドライブレコーダー等で撮影、保存された時系列画像を入力する時系列画像入力部10と、時系列画像入力部10で入力された画像において車両や二輪車、歩行者などの対象となる物体(対象物)を検知する物体検知部20と、補正を実施するある時刻tにおける画像の検知枠位置座標の分布を推定する検知枠位置分布推定部30と、物体検知部20と検知枠位置分布推定部30の出力を基に時刻t+1~t+nの検知枠位置を予測する検知枠予測部40と、予測した検知枠と検知器により各画像で検知した検知枠との重なり度合いを基に時刻tにおける画像位置(=検知枠)の不確実性を推定する検知枠不確実性推定部50と、不確実性を利用して検知枠の補正を行う検知枠補正部60と、を有する。以下、10、20、30、40、50、60の各機能の詳細について説明する。
時系列画像入力部10は、単眼カメラやステレオカメラなどの撮像装置により得られた画像を時系列順に並べて入力する。
図2を利用して、物体検知部20について説明する。物体検知部20では、時系列画像それぞれにおいて人間や検知器により対象物を含む領域(検知枠とも呼ぶ)を推定する。70は時系列画像のある1画像、80は検知対象となる対象物で、図2では対象物を自動車としている。90は対象物を検知した場合の検知枠で、検知枠左上の(x1,y1)と検知枠右下の(x2,y2)を指定することで検知枠の位置が確定する。ここでは、縦と横の2次元で検知枠を示したが、縦と横と高さの3次元の検知枠が対象でも構わない。
図3を利用して検知枠位置分布推定部30について説明する。検知枠位置分布推定部30では、時刻t-1までの検知枠位置を利用して、補正を行う時刻tにおける画像の検知枠位置座標の確率分布を推定する。100は時系列画像のある1枚の画像で、110は検知枠を構成するx1が存在する画像上の座標の確率分布を示し、120はx2が存在する画像上の座標の確率分布を示し、130は検知枠を構成するy1が存在する画像上の座標の確率分布を示し、140はy2が存在する画像上の座標の確率分布を示している。ここでは、110、120、130、140の確率分布として正規分布を図示しているが、座標の分布としては、正規分布に限定しない。150は対象物の検知枠の左上座標(x1,y1)におけるx1,y1の2変数の正規分布の等高線を表す。160は対象物の検知枠の右下座標(x2,y2)におけるx2,y2の2変数の正規分布の等高線を表す。150や160の等高線の高い部分が検知枠位置座標として確率が高い場所になる。この確率分布の予測には、カルマンフィルタなどの統計的手法を適用することができる。
図4を利用して検知枠予測部40を説明する。検知枠予測部40は、時刻t~t+nにおける対象物の相対速度等から、検知枠の移動量を推定する検知枠移動量取得部41と、検知枠位置分布推定部30で推定した確率分布に基づいて時刻tにおける検知枠の左上座標と右下座標(検知枠位置座標)をサンプリングする検知枠位置サンプリング部42と、検知枠移動量取得部41と検知枠位置サンプリング部42から時刻t+1~t+nの検知枠位置を決定する検知枠位置予測出力部43と、を有する。41、42、43について詳細に説明する。
検知枠移動量取得部41は、時刻1~t-1までの検知情報からカルマンフィルタ等により時刻t+1~t+nにおける検知枠の大きさの変化や位置(移動先)を決定する対象物の向きや自車と対象物との相対速度等を予測し、検知枠の移動量を決定する。また、時刻t+1~t+nのLIDARやミリ波などの測距センサーを使用することが可能であれば、これらのセンサーにより対象物までの距離計測や物体領域範囲を求め、相対速度や向きを求めても良い。さらに、移動量については物理法則に照らし合わせ、移動量の上限を限定する方法も考えられる。
検知枠位置サンプリング部42は、検知枠位置分布推定部30で推定した確率分布に基づいて確率が高い時刻tにおける検知枠の左上座標と右下座標(検知枠位置座標)を出力する。さらに、ある確率εでは確率が低い座標についてもランダムで出力するようにして、大域的に検知枠位置座標を出力できるようにする。
検知枠位置予測出力部43は、検知枠位置サンプリング部42により決定した時刻tにおける検知枠(確率分布に基づく検知枠)を初期値として、検知枠移動量取得部41による移動量を拘束条件として時刻t+1~t+nでの検知枠の位置座標(予測検知枠とも呼ぶ)を求める。
図5を利用して検知枠不確実性推定部50を説明する。検知枠不確実性推定部50は、検知枠予測部40で予測した検知枠(予測検知枠)と物体検知部20で推定した検知枠との重なり度合いについて算出する検知枠重なり算出部51と、重なり度合いを基に検知枠位置分布推定部30で推定した確率分布を更新する検知枠位置分布更新部52と、推定した確率分布から時刻tにおいて検知枠が存在する可能性がある領域(不確実性を加味した検知枠)を算出する検知枠不確実性出力部53と、を有する。51、52、53について詳細に説明する。
検知枠重なり算出部51では、検知枠予測部40で予測した検知枠(予測検知枠)と物体検知部20で推定した検知枠とがどの程度一致しているかを検知枠間の重なり度合いで評価する。重なり度合いの評価指標としてはIoU(Intersection over Union)等が考えられる。
検知枠位置分布更新部52では、検知枠重なり算出部51の値(重なり度合い)を利用して、検知枠位置座標の多変量正規分布の平均と分散をベイズ更新を利用して更新したり、重なり度合いを報酬として報酬が最大となる平均と分散を強化学習を利用して求める手法等が考えられる。
検知枠不確実性出力部53では、検知枠不確実性推定部50の検知枠位置分布更新部52で推定した検知枠位置座標の確率分布の標準偏差等を利用して時刻tにおいて検知枠が存在する可能性がある領域(不確実性を加味した検知枠)を出力する。詳細については後ほど図7を利用して説明する。
検知枠予測部40から検知枠不確実性推定部50の検知枠重なり算出部51までについて図6を利用して説明する。時系列画像200は、ある時刻t+1、t+2、t+3における画像であり、時刻tにおいて対象物の上部にある検知枠がサンプリングされた場合である。170は、時刻t+1における予測検知枠と、検知器等により推定された検知枠(つまり、物体検知部20で推定した検知枠)と、これらが重なっている領域で構成されている。180は、時刻t+2における予測検知枠と、検知器等により推定された検知枠と、これらが重なっている領域で構成されている。190は、時刻t+3における予測検知枠と、検知器等により推定された検知枠と、これらが重なっている領域で構成されている。時系列画像200では時刻tにおいてサンプリングされた検知枠が対象物に対して上部にあるため、予測された移動量(検知枠移動量取得部41)を加味しても時刻t~t+3のような比較的短時間の予測検知枠は対象物に対して上部に存在する。時系列画像210は、ある時刻t+1、t+2、t+3における画像であり、時刻tにおいて対象物の下部にある検知枠がサンプリングされた場合である。時系列画像210では時刻tにおいてサンプリングされた検知枠が対象物に対して下部にあるため、予測された移動量(検知枠移動量取得部41)を加味しても時刻t~t+3のような比較的短時間の予測検知枠は対象物に対して下部に存在する。時系列画像220は、ある時刻t+1、t+2、t+3における画像であり、時刻tにおいて対象物に対して大きな検知枠がサンプリングされた場合である。時系列画像220では時刻tにおいて検知枠が対象物に対して大きく予測されたため、予測された移動量(検知枠移動量取得部41)を加味しても時刻t~t+3のような比較的短時間の予測検知枠は対象物に対して大きくなる。また、200、210、220においてそれぞれ時刻tにおける座標値が異なるため、時刻t+1~t+3の検知枠位置座標は異なるが、検知枠のサイズ(例えば時刻t+1、t+2、t+3間の拡大率)は検知枠移動量取得部41(の移動量)により決定されるため、200、210、220においてすべて等しい。
検知枠不確実性推定部50について図7を利用して説明する。不確実性を可視化した検知枠230は、本実施例では、検知枠位置分布更新部52で得られた確率分布を基にして、事前に設定した対象物の検知枠として許容できる大きさ(確率分布が多変量正規分布の場合は、標準偏差)の最小となる検知枠240と、最も確率が高い(確率分布が多変量正規分布の場合は、平均)座標による検知枠250と、事前に設定したある1つの対象物の検知枠として許容できる大きさ(確率分布が多変量正規分布の場合は、標準偏差)の最大となる検知枠260の3つで構成される。240、250、260の検知枠の大きさは、位置座標の確率分布で決定することができ(換言すると、更新された検知枠位置座標の確率分布から時刻tにおける検知枠の存在範囲を限定することができ)、大きくばらつくと仮定する場合には標準偏差を大きく取る。例えば、標準偏差の3倍を取ると、240から260に設定した範囲内に99%の確率で検知枠が含まれると予測することになる。
検知枠予測部40と検知枠不確実性推定部50について図8のフローチャートを利用して説明する。まず、ステップ270では、物体検知部20と検知枠位置分布推定部30の出力から時刻t+1~t+nにおける対象物(の検知枠)の移動量をカルマンフィルタ等を利用して推定する(検知枠移動量取得部41)。または、測距センサーを利用することで、相対速度等の移動量を推定する。ここで、nに大きな値を設定すると、予測範囲が長くなりすぎて予測精度が低下するが、一方で、nが小さすぎると、検知器で自動で検知枠を出力した場合、不検知画像(検知枠不検出画像)が多くなることや、1つの検知枠位置の大きなズレが外れ値となり補正精度を低下させる可能性が高くなるため、得られた画像のフレームレートを考慮して、nの値を決定する必要がある。
ステップ280では、検知枠位置分布推定部30で推定した確率分布に従って時刻tにおける検知枠位置座標を出力する(検知枠位置サンプリング部42)。この際、確率の高い座標のみを出力すると、検知枠位置分布推定部30の推定精度が低い場合にサンプリングした位置精度が低下するため、確率εで確率が低い座標についてもランダムで出力するようにし、大域的に検知枠位置座標を出力できるようにする。
ステップ290では、ステップ270とステップ280の結果を利用して時刻t+1~t+nにおける検知枠位置(検知枠位置座標)を予測する(検知枠位置予測出力部43)。
ステップ300では、時刻t+1~t+nにおける予測の検知枠と各時刻において検知器から出力した検知枠との重なり度合いを算出する(検知枠重なり算出部51)。重なり度合いはIoU(Intersection over Union)等を用いることで算出する。
ステップ310では、重なり度合いにより時刻tの検知枠位置座標分布(確率分布)を更新する(検知枠位置分布更新部52)。つまり、重なり度合いが高くなる時刻tの検知枠位置座標に関しては確率を高くするように更新し、重なり度合いが低くなる時刻tの検知枠位置座標に関しては確率を低くするように更新をする。
ステップ320では、ユーザーが事前に設定した設定値にサンプリング回数が達しているかを判定する。サンプリング回数に達した場合は、処理が終了となり、サンプリング回数に達していない場合はステップ280に戻り、再度時刻tにおける検知枠位置座標をサンプリングする。ステップ310で時刻tの検知枠位置座標分布が更新されるため、繰り返しサンプリングをすることで、時刻t+1~t+nの検知器等から出力した検知枠との重なり度合いが高くなる座標が多くサンプリングされることになる。
検知枠補正部60について図9を利用して説明する。330、340、350、及び360は本図で用いる検知枠の種類を示したものである。実線330は各画像で人間や検知器により出力した(換言すると、物体検知部20で推定した)検知枠である。一方、検知枠位置分布更新部52で得られた確率分布を基にして、二点鎖線340は想定する(事前に設定した対象物の検知枠として許容できる)最小の大きさとなる検知枠で、破線350は最も確率が高い検知枠で、一点鎖線360は想定する(事前に設定した対象物の検知枠として許容できる)最大の大きさとなる検知枠となる(検知枠不確実性出力部53)。
370は、検知枠330と340、350、360の不確実性の検知枠を可視化したある画像で、検知器により出力した検知枠330はノイズ380を含んでいる。380のノイズは、逆光による対象物の影等が該当する。ここで検知枠330はノイズ380を含んでおり、対象物のみを検知した検知枠よりも大きく出力されている。このとき、検知枠330は(不確実性の)最大の検知枠360よりも大きくなり、補正対象の検知枠となる。補正する場合は、検知枠330を検知枠の確率が最大となる検知枠350に置き換える方法等が考えられる。画像390は、画像370における検知枠330を補正した結果である(検知枠補正部60)。補正後は400のノイズを含まない、対象物のみを検知した検知枠となる。画像370では、検知枠330が想定する最大の検知枠360より大きい場合を説明したが、逆に検知枠330が想定する最小の検知枠340より小さい場合にも同様に修正(補正)することができる。
410は、検知枠330と340、350、360の不確実性の検知枠を可視化したある画像で、検知器により出力した検知枠330はノイズ420により分断されている。420のノイズは、ワイパーや二輪車等により前方車両の一部が隠れてしまう場合が該当する。画像410において、2つの検知枠330は、許容最大となる検知枠360の内側にあり、許容最小となる検知枠340の外側にあることから、同一対象物に対する検知枠であると判定され、補正対象の検知枠となる。補正する場合は、2つの検知枠330を統合する方法や検知枠の確率が最大となる検知枠350に置き換える方法等が考えられる。画像430は、画像410における検知枠330を補正した結果である(検知枠補正部60)。補正後は440のノイズに影響されず、対象物を検知した検知枠となる。
ただし、検知枠補正部60による検知枠不確実性を利用した検知枠補正方法はここで記載した方法に限定しない。
本発明の実施例1では上記で説明した機能構成により、補正対象の画像の前後の情報を利用して、検知枠位置の不確実性を推定することにより、ノイズによる検知枠のばらつきを高精度に補正することができる。
以上説明したように、本発明の実施例1の検知枠位置精度向上システム1は、時系列の画像を入力する時系列画像入力部10と、前記時系列の画像で対象物を検知する物体検知部20と、補正対象時刻より前の時刻(時刻t-1)までの前記対象物の検知結果から補正対象時刻(時刻t)の検知枠位置座標の分布を推定する検知枠位置分布推定部30と、前記検知結果と前記分布に従い補正対象時刻より後の時刻(時刻t+1~t+n)の検知枠の位置を予測する検知枠予測部40と、補正対象時刻より後の時刻(時刻t+1~t+n)において前記対象物の検知結果と前記予測した検知枠との重なり度合いにより補正対象時刻(時刻t)における検知枠位置座標の分布を更新し、補正対象時刻(時刻t)における検知枠の不確実性を推定する検知枠不確実性推定部50と、前記検知枠と前記不確実性に基づき、補正対象時刻(時刻t)における前記検知枠を補正する検知枠補正部60と、を備える。
また、前記検知枠予測部40は、前記検知結果により推定した前記分布から補正対象時刻(時刻t)の検知枠の位置座標をサンプリングする検知枠位置サンプリング部42と、検知枠の移動先を決定する補正対象時刻より後の時刻(時刻t+1~t+n)の対象物の相対速度または向き等の少なくとも一つを含む移動量を取得する検知枠移動量取得部41と、を備え、前記検知枠位置サンプリング部42により補正対象時刻(時刻t)における検知枠位置を決定し、前記検知枠移動量取得部41による移動量により補正対象時刻より後の時刻(時刻t+1~t+n)における検知枠の位置を予測する。
また、前記検知枠不確実性推定部50は、更新された前記検知枠位置座標の分布から補正対象時刻(時刻t)における検知枠の存在範囲を限定する。
また、本発明の実施例1の検知枠位置補正方法は、時系列の画像を入力し、前記時系列の画像で対象物を検知し、補正対象時刻より前の時刻(時刻t-1)までの前記対象物の検知結果から補正対象時刻(時刻t)の検知枠位置座標の分布を推定し、前記検知結果と前記分布に従い補正対象時刻より後の時刻(時刻t+1~t+n)の検知枠の位置を予測し、補正対象時刻より後の時刻(時刻t+1~t+n)において前記対象物の検知結果と前記予測した検知枠との重なり度合いにより補正対象時刻(時刻t)における検知枠位置座標の分布を更新し、補正対象時刻(時刻t)における検知枠の不確実性を推定し、前記検知枠と前記不確実性に基づき、補正対象時刻(時刻t)における前記検知枠を補正する。
すなわち、本実施例1は、検知枠位置修正の対象フレームの前後の時系列の画像や距離センサーなどのデータを利用して、現在の検知枠の存在する領域(不確実性)を推定し、検知器等により出力された検知結果を修正するものである。
本実施例1によれば、検知枠位置の精度を向上させることが可能となる。
[実施例2]
図10は本発明の実施例2のブロック図である。本実施例では、同一画像内に複数の対象物が含まれ、検知枠が複数ある場合を対象とする。
図10は本発明の実施例2のブロック図である。本実施例では、同一画像内に複数の対象物が含まれ、検知枠が複数ある場合を対象とする。
図10に示す検知枠位置精度向上システム2は、本システムとは別に車両に搭載されたドライブレコーダー等で撮影、保存された時系列画像を入力する時系列画像入力部10と、時系列画像入力部10で入力された画像において車両や二輪車、歩行者などの対象となる物体(対象物)を検知する物体検知部20と、時系列画像において補正対象とする検知枠を決定する検知補正対象物決定部450と、補正を行うある時刻tにおける画像の検知枠位置座標の分布を推定する検知枠位置分布推定部30と、物体検知部20と検知枠位置分布推定部30の出力を基に時刻t+1~t+nの検知枠位置を予測する検知枠予測部40と、予測した検知枠と検知器により画像から検知した検知枠との重なり度合いを基に時刻tにおける画像位置(=検知枠)の不確実性を推定する検知枠不確実性推定部50と、不確実性を利用して検知枠の補正を行う検知枠補正部60と、を有する。10、20、30、40、50、60は実施例1で説明したものと同等の機能を有する。
検知補正対象物決定部450について図11を利用して説明する。検知補正対象物決定部450は、同一の対象物であるか否かを判定するのに利用する対象物(検知枠)の特徴量等を抽出する検知情報抽出部451と、検知情報抽出部451の情報を基に時系列画像全体で対象物を分類する検知対象分類部452と、検知補正対象となる物体(検知補正対象物)の検知枠を出力する検知補正対象物出力部453で構成される。
検知情報抽出部451で抽出する特徴量としては、各検知枠ごとに自動車、人間、二輪車等の検知した対象物のラベル、SIFT(Scale invariant feature transform)をはじめとしたスケールや回転などに普遍の特徴量記述子、学習済みの畳み込みニューラルネットワーク(Convolutional Neural Network)等を複数回適用して出力した特徴量記述子等が考えられる。
検知対象分類部452では、各画像、各検知枠ごとに検知情報抽出部451により得られた特徴量についてユークリッド距離やコサイン類似度を利用することで時系列画像において同一対象物ごとに検知枠を判定・分類する。
検知補正対象物出力部453では、補正対象となる検知枠を出力する。また、検知器により自動で検知枠を出力した場合、検知漏れが数多く発生して検知数が少なく、補正が困難、もしくは、補正精度の低下の可能性が高い場合は、ユーザーへ通知を行う。
本発明の実施例2では上記で説明した機能構成により、画像に複数の物体が含まれている場合でも、補正対象を事前に1つに絞ることが可能となり、補正対象の画像の前後の情報を利用して、検知枠位置の不確実性を推定することにより、ノイズによる検知枠のばらつきを高精度に補正することができる。
以上説明したように、本発明の実施例2の検知枠位置精度向上システム2は、上記実施例1に加えて、前記時系列の画像において同一対象物を判定する検知補正対象物決定部450を備える。
また、前記検知補正対象物決定部450は、各検知枠の特徴量を抽出し(検知情報抽出部451)、前記特徴量から前記時系列の画像において同一対象物を判定し(検知対象分類部452)、検知枠補正対象物とする検知補正対象物出力部453を有する。
本実施例2によれば、同一画像内に複数の対象物が含まれている場合でも、検知枠位置の精度を向上させることが可能となる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1…検知枠位置精度向上システム(実施例1)、2…検知枠位置精度向上システム(実施例2)、10…時系列画像入力部、20…物体検知部、30…検知枠位置分布推定部、40…検知枠予測部、50…検知枠不確実性推定部、60…検知枠補正部、450…検知補正対象物決定部(実施例2)
Claims (11)
- 時系列の画像を入力する時系列画像入力部と、
前記時系列の画像で対象物を検知する物体検知部と、
補正対象時刻より前の時刻までの前記対象物の検知結果から補正対象時刻の検知枠位置座標の分布を推定する検知枠位置分布推定部と、
前記検知結果と前記分布に従い補正対象時刻より後の時刻の検知枠の位置を予測する検知枠予測部と、
補正対象時刻より後の時刻において前記対象物の検知結果と前記予測した検知枠との重なり度合いにより補正対象時刻における検知枠位置座標の分布を更新し、補正対象時刻における検知枠の不確実性を推定する検知枠不確実性推定部と、
前記検知枠と前記不確実性に基づき、補正対象時刻における前記検知枠を補正する検知枠補正部と、を備えることを特徴とする検知枠位置精度向上システム。 - 請求項1に記載の検知枠位置精度向上システムにおいて、
前記検知枠予測部は、前記検知結果により推定した前記分布から補正対象時刻の検知枠の位置座標をサンプリングする検知枠位置サンプリング部を有することを特徴とする検知枠位置精度向上システム。 - 請求項1に記載の検知枠位置精度向上システムにおいて、
前記検知枠予測部は、検知枠の移動先を決定する補正対象時刻より後の時刻の対象物の相対速度または向きの少なくとも一つを含む移動量を取得する検知枠移動量取得部を有することを特徴とする検知枠位置精度向上システム。 - 請求項1に記載の検知枠位置精度向上システムにおいて、
前記検知枠予測部は、前記検知結果により推定した前記分布から補正対象時刻の検知枠の位置座標をサンプリングする検知枠位置サンプリング部と、検知枠の移動先を決定する補正対象時刻より後の時刻の対象物の相対速度または向きの少なくとも一つを含む移動量を取得する検知枠移動量取得部と、を備え、前記検知枠位置サンプリング部により補正対象時刻における検知枠位置を決定し、前記検知枠移動量取得部による移動量により補正対象時刻より後の時刻における検知枠の位置を予測することを特徴とする検知枠位置精度向上システム。 - 請求項1に記載の検知枠位置精度向上システムにおいて、
前記検知枠不確実性推定部は、更新された前記検知枠位置座標の分布から補正対象時刻における検知枠の存在範囲を限定することを特徴とする検知枠位置精度向上システム。 - 請求項5に記載の検知枠位置精度向上システムにおいて、
前記検知枠不確実性推定部は、前記存在範囲を限定した検知枠として、更新された前記検知枠位置座標の分布の標準偏差を基にした大きさが最小となる検知枠および最大となる検知枠と、更新された前記検知枠位置座標の分布の最も確率が高い座標による検知枠とを備えることを特徴とする検知枠位置精度向上システム。 - 請求項1に記載の検知枠位置精度向上システムにおいて、
前記時系列の画像において同一対象物を判定する検知補正対象物決定部を備えることを特徴とする検知枠位置精度向上システム。 - 請求項7に記載の検知枠位置精度向上システムにおいて、
前記検知補正対象物決定部は、各検知枠の特徴量を抽出し、前記特徴量から前記時系列の画像において同一対象物を判定し、検知枠補正対象物とする検知補正対象物出力部を有することを特徴とする検知枠位置精度向上システム。 - 時系列の画像を入力し、
前記時系列の画像で対象物を検知し、
補正対象時刻より前の時刻までの前記対象物の検知結果から補正対象時刻の検知枠位置座標の分布を推定し、
前記検知結果と前記分布に従い補正対象時刻より後の時刻の検知枠の位置を予測し、
補正対象時刻より後の時刻において前記対象物の検知結果と前記予測した検知枠との重なり度合いにより補正対象時刻における検知枠位置座標の分布を更新し、補正対象時刻における検知枠の不確実性を推定し、
前記検知枠と前記不確実性に基づき、補正対象時刻における前記検知枠を補正することを特徴とする検知枠位置補正方法。 - 請求項9に記載の検知枠位置補正方法において、
前記検知結果により推定した前記分布から補正対象時刻の検知枠の位置座標をサンプリングし、検知枠の移動先を決定する補正対象時刻より後の時刻の対象物の相対速度または向きの少なくとも一つを含む移動量を取得し、前記サンプリングにより補正対象時刻における検知枠位置を決定し、前記取得した移動量により補正対象時刻より後の時刻における検知枠の位置を予測することを特徴とする検知枠位置補正方法。 - 請求項9に記載の検知枠位置補正方法において、
更新された前記検知枠位置座標の分布から補正対象時刻における検知枠の存在範囲を限定することで、補正対象時刻における検知枠の不確実性を推定することを特徴とする検知枠位置補正方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021099602A JP2022191007A (ja) | 2021-06-15 | 2021-06-15 | 検知枠位置精度向上システム、及び検知枠位置補正方法 |
PCT/JP2022/007983 WO2022264533A1 (ja) | 2021-06-15 | 2022-02-25 | 検知枠位置精度向上システム、及び検知枠位置補正方法 |
US18/547,762 US20240127567A1 (en) | 2021-06-15 | 2022-02-25 | Detection-frame position-accuracy improving system and detection-frame position correction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021099602A JP2022191007A (ja) | 2021-06-15 | 2021-06-15 | 検知枠位置精度向上システム、及び検知枠位置補正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022191007A true JP2022191007A (ja) | 2022-12-27 |
Family
ID=84526131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021099602A Pending JP2022191007A (ja) | 2021-06-15 | 2021-06-15 | 検知枠位置精度向上システム、及び検知枠位置補正方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240127567A1 (ja) |
JP (1) | JP2022191007A (ja) |
WO (1) | WO2022264533A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116862980B (zh) * | 2023-06-12 | 2024-01-23 | 上海玉贲智能科技有限公司 | 图像边缘的目标检测框位置优化校正方法、系统、介质及终端 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017151535A (ja) * | 2016-02-22 | 2017-08-31 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
JP6972757B2 (ja) * | 2017-08-10 | 2021-11-24 | 富士通株式会社 | 制御プログラム、制御方法、及び情報処理装置 |
-
2021
- 2021-06-15 JP JP2021099602A patent/JP2022191007A/ja active Pending
-
2022
- 2022-02-25 WO PCT/JP2022/007983 patent/WO2022264533A1/ja active Application Filing
- 2022-02-25 US US18/547,762 patent/US20240127567A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022264533A1 (ja) | 2022-12-22 |
US20240127567A1 (en) | 2024-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6670071B2 (ja) | 車両用画像認識システム、及び対応法 | |
CA2914799C (en) | Method for detecting a plurality of instances of an object | |
US9047518B2 (en) | Method for the detection and tracking of lane markings | |
EP3121791B1 (en) | Method and system for tracking objects | |
EP3159126A1 (en) | Device and method for recognizing location of mobile robot by means of edge-based readjustment | |
US20150348270A1 (en) | Method and device for monitoring a surrounding region of a vehicle, and method for implementing emergency braking | |
US11094080B2 (en) | Method and device for determining whether a hand cooperates with a manual steering element of a vehicle | |
KR20150112656A (ko) | 카메라 캘리브레이션 방법 및 그 장치 | |
JP7185419B2 (ja) | 車両のための、対象物を分類するための方法および装置 | |
KR20130118116A (ko) | 자동 주차 보조 시스템에서 장애물 충돌 회피 장치 및 방법 | |
US20190370982A1 (en) | Movement learning device, skill discriminating device, and skill discriminating system | |
JP5262705B2 (ja) | 運動推定装置及びプログラム | |
CN112927303B (zh) | 一种基于车道线的自动驾驶车载相机位姿估计方法及系统 | |
JP2014009975A (ja) | ステレオカメラ | |
WO2022264533A1 (ja) | 検知枠位置精度向上システム、及び検知枠位置補正方法 | |
CN110853085A (zh) | 基于语义slam的建图方法和装置及电子设备 | |
US11080562B1 (en) | Key point recognition with uncertainty measurement | |
JP7072765B2 (ja) | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム | |
CN114846513A (zh) | 动作分析系统和动作分析程序 | |
JP4151631B2 (ja) | 物体検出装置 | |
EP3879810A1 (en) | Imaging device | |
CN116745808A (zh) | 作业估计装置、作业估计方法和作业估计程序 | |
JP7204068B2 (ja) | 乗員温度推定装置、乗員状態検出装置、乗員温度推定方法、および、乗員温度推定システム | |
JP7345680B2 (ja) | 推論装置、推論方法及び推論プログラム | |
US20220406070A1 (en) | Method and device for recognizing an object for a vehicle including a mono camera, and camera system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240229 |