JP2018201161A - 移動体追跡装置、移動体追跡方法およびプログラム - Google Patents

移動体追跡装置、移動体追跡方法およびプログラム Download PDF

Info

Publication number
JP2018201161A
JP2018201161A JP2017105763A JP2017105763A JP2018201161A JP 2018201161 A JP2018201161 A JP 2018201161A JP 2017105763 A JP2017105763 A JP 2017105763A JP 2017105763 A JP2017105763 A JP 2017105763A JP 2018201161 A JP2018201161 A JP 2018201161A
Authority
JP
Japan
Prior art keywords
information
moving body
tracking
unit
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017105763A
Other languages
English (en)
Other versions
JP6833617B2 (ja
Inventor
智行 柴田
Satoyuki Shibata
智行 柴田
雄土 山地
Yuto Yamaji
雄土 山地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2017105763A priority Critical patent/JP6833617B2/ja
Priority to EP18156911.2A priority patent/EP3410396B1/en
Priority to US15/897,275 priority patent/US10891740B2/en
Publication of JP2018201161A publication Critical patent/JP2018201161A/ja
Application granted granted Critical
Publication of JP6833617B2 publication Critical patent/JP6833617B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】移動体の情報をより高精度に得る。【解決手段】移動体追跡装置は、取得部と、対応付け部と、出力制御部と、を備える。取得部は、撮像された画像に含まれる移動体を示す複数の移動体情報を取得する。対応付け部は、相互に類似する複数の移動体情報を、同一の移動体の移動体情報として対応付ける対応付け処理を、3以上の移動体情報に対して実行する。出力制御部は、対応付けられた移動体情報を出力する。【選択図】図3

Description

本発明の実施形態は、移動体追跡装置、移動体追跡方法およびプログラムに関する。
2台以上のカメラ(撮像部)で撮像した画像(映像)を用いた監視において、カメラ間で同一移動体を対応付けることで、監視範囲の各移動体の移動軌跡を得る方法がある。例えば、2台のカメラ間での対応付けを繰り返し、同一移動体を対応付け、移動軌跡を得る技術が提案されている。
しかしながら、対応付けは一部失敗する可能性がある。このため、従来技術では、対応付けるカメラの組み合わせ、および、対応付けの順序に応じて対応付け結果が異なり、対応付けの誤差が伝播し最適な対応付け結果が得られない場合があった。
国際公開第2014/041912号 特許第5174068号公報
J. Van, Learning color names for real-world applications, TIP, 18(7):1512-1523, 2009. T. Kozakaya, Random Ensemble Metrics for Object Recognition, International Conference on Computer Vision (ICCV), 2011.
本発明の実施形態は、高い精度で移動体の対応付けを行う移動体追跡装置、移動体追跡方法およびプログラムを提供する。
実施形態の移動体追跡装置は、取得部と、対応付け部と、出力制御部と、を備える。取得部は、撮像された画像に含まれる移動体を示す複数の移動体情報を取得する。対応付け部は、相互に類似する複数の移動体情報を、同一の移動体の移動体情報として対応付ける対応付け処理を、3以上の移動体情報に対して実行する。出力制御部は、対応付けられた移動体情報を出力する。
第1の実施形態の移動体追跡システムの概略構成図。 移動体追跡装置のハードウェア構成図。 第1の実施形態にかかる装置の機能ブロック図。 階層的な分割の概念を示す図。 LBPを説明するための図。 LBPを説明するための図。 2台のカメラ間での対応付けを繰り返す方式を示す概念図。 第1の実施形態の対応付け処理を示す概念図。 クラスタリング処理の例を示す概念図。 表示される追跡情報の一例を示す図。 表示される追跡情報の他の例を示す図。 第1の実施形態における移動体追跡処理のフローチャート。 第2の実施形態にかかる移動体追跡装置の構成ブロック図。 カメラを選択するための選択画面の一例を示す図。 第2の実施形態の対応付け処理を示す概念図。 第2の実施形態における移動体追跡処理のフローチャート。 第3の実施形態にかかる装置の機能ブロック図。 第3の実施形態の対応付け処理を示す概念図。
以下に添付図面を参照して、この発明にかかる移動体追跡装置の好適な実施形態を詳細に説明する。
(第1の実施形態)
上記のように、従来の方法では、カメラの対応付けの順序などに応じて対応付け結果が異なり、最適な対応付け結果が得られない場合があった。また、カメラの台数が増えた場合、現実的な精度で対応付け結果が得られない場合があった。また、(カメラの台数−1)回の対応付け処理が必要であった。
第1の実施形態にかかる移動体追跡装置は、各カメラで撮像した映像から取得した各移動体(人物など)の情報を用いて、一括処理により全体最適な同一の移動体への対応付けを実行する。これにより、移動体の移動軌跡の情報などを、より高精度に得ることが可能となる。
本実施形態の移動体追跡装置は、例えば、複数の防犯カメラを用いて、施設内における各人物の移動軌跡を得るシステムなどに適用できる。
図1は、本実施形態の移動体追跡システム1の概略構成の一例を示す図である。図1に示すように、移動体追跡システム1は、撮像部としてのn台のカメラ10−1〜10−n(nは3以上の整数)と、移動体追跡装置20と、を含む。以下の説明では、n台のカメラ10−1〜10−nを互いに区別しない場合は、単に「カメラ10」と称する。各カメラ10と移動体追跡装置20は、無線または有線で相互に接続されている。
図2は、移動体追跡装置20のハードウェア構成の一例を示す図である。図2に示すように、移動体追跡装置20は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、I/F(インタフェース)204と、操作装置205と、表示装置206とを備える。
CPU201は、移動体追跡装置20の動作を統括的に制御する。CPU201は、RAM203の所定の領域を作業領域として、ROM202に記録された各種制御プログラムを実行して、移動体追跡装置20が有する各種の機能を実現させる。移動体追跡装置20が有する機能の具体的な内容については後述する。
ROM202は、移動体追跡装置20に関わるプログラムや各種設定情報などを記憶する不揮発性のメモリ(書き換え不可能なメモリ)である。
RAM203は、例えばSDRAM(Synchronous Dynamic Random Access Memory)などの記憶手段であって、CPU201の作業エリアとして機能し、バッファなどの役割を果たす。
I/F204は、カメラ10等の外部機器と接続するためのインタフェースである。操作装置205は、ユーザの操作を受け付けるためのデバイスであり、マウスやキーボードなどで構成される。表示装置206は、移動体追跡装置20に関する各種の情報を表示するデバイスであり、例えば液晶ディスプレイなどで構成される。なお、操作装置205と表示装置206とが一体的に構成される(例えばタッチパネルとして構成される)形態であってもよい。
移動体追跡装置20は、物理的に1つの装置により構成してもよいし、クラウドコンピューティング環境上の仮想的な装置として実現してもよい。
図3は、第1の実施形態にかかるカメラ10および移動体追跡装置20の機能構成の一例を示すブロック図である。図3に示すように、カメラ10は、追跡部111と、通信制御部112と、を備えている。移動体追跡装置20は、取得部211と、対応付け部212と、出力制御部213と、を備えている。なお、図3では、本実施形態に関する機能を主に例示しているが、カメラ10および移動体追跡装置20が有する機能はこれらに限られるものではない。
移動体追跡装置20の各部(取得部211、対応付け部212、出力制御部213)は、例えば、1または複数のプロセッサにより実現される。例えば上記各部は、CPU201などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のIC(Integrated Circuit)などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち1つを実現してもよいし、各部のうち2以上を実現してもよい。
カメラ10の各部(追跡部111、通信制御部112)も同様に、例えば、1または複数のプロセッサにより実現される。
追跡部111は、撮像された画像群に基づいて移動体を追跡する。例えば追跡部111は、カメラ10で撮像した画像群を取得する。追跡部111は、取得した画像群から、検出対象となる移動体を検出し、各画像で検出した移動体のうち同一の移動体を相互に対応付ける追跡処理を行う。追跡部111は、各移動体のカメラ10内における追跡情報を出力する。
移動体は、例えば歩行者などの人物であるが、これに限られるものではない。車両および飛行体などの任意の移動体を対象とすることができる。また、追跡情報は、画像平面上での位置、画像平面上でのサイズ、画像間で同一の移動体を識別するための識別情報、および、画像上での移動体の外接矩形を切り出した部分画像群などを含む。
本実施形態では、追跡情報が、画像に含まれる移動体を示す移動体情報に相当する。すなわち移動体情報は、複数の画像に含まれる移動体を追跡した情報を示す追跡情報である。
通信制御部112は、移動体追跡装置20などの外部装置との間の通信を制御する。例えば通信制御部112は、追跡部111により求められた追跡情報を移動体追跡装置20に送信する。
取得部211は、カメラ10などの外部装置から各種情報を取得する。例えば取得部211は、カメラ10の通信制御部112から送信された追跡情報を取得する。取得部211は、複数のカメラ10それぞれから、各カメラ10の追跡部111により求められた追跡情報を取得する。従って取得部211が取得する複数の追跡情報は、複数のカメラ10に含まれる、あるカメラ10(第1撮像部)で撮像された画像に基づき求められる追跡情報(第1追跡情報)、および、複数のカメラ10に含まれる、他のカメラ10(第2撮像部)で撮像された画像に基づき求められる追跡情報(第2追跡情報)を含む。
なお、追跡部111の機能を、移動体追跡装置20内に備えるように構成してもよい。この場合、通信制御部112は、撮像した画像群を移動体追跡装置20に送信する。また取得部211は、送信された画像群に基づき移動体追跡装置20内の追跡部111の機能により求められた追跡情報を取得する。
対応付け部212は、移動体情報(追跡情報)を対応付ける対応付け処理を実行する。対応付け処理は、例えば、相互に類似する複数の移動体情報を、同一の移動体の移動体情報として対応付ける処理である。本実施形態では、対応付け部212は、対応付け処理を3以上の移動体情報に対して一括して実行する。例えば対応付け部212は、3以上の移動体情報を類似度に基づいて複数のクラスタに分類し、同一のクラスタに分類された移動体情報を同一の移動体の移動体情報として対応付ける。
対応付け部212は、すべてのカメラ10から取得された追跡情報を用いて、追跡情報が類似する移動体を同一の移動体へと一括で対応付ける。対応付けには、例えば各移動体の見え方の類似性を用いた尺度(類似度)を用いる。移動体の見え方の類似度は、例えば、以下の手順で求めることができる。以下では、移動体として人物を追跡する場合を例に説明する。
まず対応付け部212は、各画像について、移動体の見え方を示す特徴量(特徴ベクトル)を算出する。なお以下の算出方法は一例であり、他の任意の特徴量を用いることができる。
対応付け部212は、人物画像(画像のうち人物が写り込んだ領域)を、複数の色空間を用いてマルチチャネル化し、複数のチャネル画像を生成する。複数の色空間は、例えば、YCbCr色空間、HSV色空間、および、ColorNames色空間など環境光の変動に対して耐性のある色空間である。対応付け部212は、各チャネル画像を、Y方向に異なる分割数でブロック(Block)へ分割するマルチレイヤブロック(Multi−Layer Block)分割を行う。対応付け部212は、各ブロックから、値のヒストグラム、および、近接画素との差分値によるバイナリ符号のヒストグラムをそれぞれ算出する。対応付け部212は、算出した各ヒストグラムを正規化連結することにより特徴量を抽出する。対応付け部212は、抽出した特徴量を予め求めた識別空間へ写像して、移動体の見え方の特徴量を求める。識別空間は、例えば、同一人物が近く、他人が遠くなるように予め計量学習により求められる。
以下、特徴量の算出方法についてさらに説明する。ここでは、対応付け部212は、RGBの3チャネルで取得した人物画像を、複数の色空間に変換してマルチチャネル化する。例えば、人物画像は、YCbCr色空間の3チャネル、HSV色空間の3チャネル、および、Color Names descriptor*の11チャネルの計17チャネルに拡張される。この拡張は、カメラ10の個体差および環境変動などによる、画像の色情報および輝度情報の変動を吸収することを目的としている。この拡張により、環境変動などに対して色空間上での変動が少なくなることが知られている(非特許文献1参照)。
次に、対応付け部212は、各チャネル画像(Ch画像)について、複数レイヤでブロック分割を行う。対応付け部212は、後段の処理で、各ブロックからヒストグラム情報を取得する。この際、詳細に分割すると人物矩形の位置ずれによる影響が大きくなるが、位置情報を利用できるためより識別性が高くなる。このため、対応付け部212は、詳細な分割から広域な分割を段階的に行う。
y軸方向およびx軸方向の両方で分割できるが、どちらか一方のみで分割してもよい。分割処理では、各人物画像について各チャネル画像からブロックと呼ぶ複数の領域が定義される。図4は、階層的な分割の概念を示す図である。図4では、4つのチャネル画像それぞれについて、段階的にブロックが定義されている。
次に、対応付け部212は、定義した各領域(ブロック)から、ヒストグラム情報を抽出する。例えば対応付け部212は、領域内の各値の出現頻度を示すヒストグラム特徴量と、領域内の各値と周辺の値との差分値の出現頻度(勾配方向の出現頻度)をヒストグラム化する特徴量と、を正規化連結することにより、ヒストグラム情報を抽出する。後者の特徴量は、例えば、LBP(Local Binary Pattern)と呼ばれる、注目画素と周辺画素との値により割り当てるバイナリ符号を用いてヒストグラム化する特徴量を用いることができる。
図5および図6は、LBPを説明するための図である。図5に示すように、注目画素(中心点)からの方向ごとに、注目画素の輝度値と、該方向に存在する画素の平均輝度値との大小を重み付けすることにより、バイナリ符号がコード化される。例えば図6の左側に示す輝度パターンは、図6の矢印601が示す方向にバイナリ符号を並べたビット列に変換される。この例では、周辺画素の輝度値が中心画素の輝度値よりも低い場合は、該周辺画素の輝度値は「0」に変換され、周辺画素の輝度値が中心画素の輝度値よりも高い場合は、該周辺画素の輝度値は「1」に変換される。変換方法は、これに限られるものではない(反対でもよい)。各ブロック(領域)からは、値のヒストグラムのビン(bin)数と、LBPのヒストグラムのビン数とを合わせた次元数の特徴量が得られる。
次に、対応付け部212は、各ブロックから抽出したチャネル数×ブロック数の特徴量を正規化連結し、高次の特徴ベクトルを抽出する。対応付け部212は、予め同一移動体は近く、異なる移動体は遠くなる特徴空間へ変換するために計量学習して取得した変換行列により、高次の特徴ベクトル(D次元)を変換した特徴ベクトル(d次元)を、各人物画像の特徴ベクトルとする。
計量学習には、いくつかの手法が提案されているが、固定の次元数(例えば分割するカテゴリ数)の変換行列しか算出できない手法が多い。一方、例えばREMetric*を用いると任意の次元数への変換行列を算出することが可能となる(非特許文献2参照)。対応付け部212は、REMetric*により取得した変換行列を用いてもよい。
対応付け部212は、このようにして算出された特徴量(特徴ベクトル)を用いて、移動体の見え方の類似度を算出する。例えば各人物画像間の類似度は、上述の2つの特徴ベクトル間の正規化相互相関により定義できる。通常、追跡情報は、複数枚の人物画像を有するため、複数枚と複数枚との間の類似度が定義できる。対応付け部212は、すべての特徴ベクトルの組み合わせに対して得られる複数の類似度の最大値を追跡情報間の類似度としてもよいし、複数の類似度の平均値を追跡情報間の類似度としてもよい。
類似度の算出方法は上記に限られず、任意の方法を適用できる。例えば、以下のように算出される類似度を用いてもよい。対応付け部212は、まず、各追跡情報に関して得られる複数の特徴ベクトル列について主成分分析を行い、部分空間を算出する。この部分空間は、見え方の変動を表現する各移動体を表現する空間である。このため、対応付け部212は、追跡情報間のそれぞれの部分空間同士の間の類似度を相互部分空間法により算出し、類似度とする。
上記の方法により、追跡情報間の類似度が得られる。対応付け部212は、すべてのカメラ10から取得した追跡情報間の相互の類似度を算出する。ここで、追跡情報がN個得られた場合、相互の類似度を要素とするN×Nの行列を類似度行列と呼ぶ。i番目(1≦i≦N)の追跡情報とj番目(1≦j≦N)の追跡情報の類似度を類似度行列の要素S_i,jと表現する。類似度行列は、対象行列であり、S_i,jとS_j,iは同値である。
類似度は、画像として移動体を捉えた場合、見え方の類似性を意味する。類似度は、見る角度、および、日の当たり具合などの環境要因により変動する部分を特徴抽出にて可能な限り排除し、個人性のみで算出されるようにしている。しかし、このような類似度を用いたとしても、同一人物の類似度が高くなりやすいカメラ10の組と、低くなるカメラ10の組が存在する。
そのため対応付け部212は、すべてのカメラ10の組で独立に類似度行列を計算する。対応付け部212は、得られた各組の類似度行列について、類似度を正規化する。すべての追跡情報間の類似度表は、各カメラ10間の類似度行列をつなげることで算出できる。
類似度の正規化手法は、任意の方法を適用できる。例えば代表的な手法に、z-score normalizationがある。z-score normalizationは、類似度行列の各要素は他人同士の類似度であり、同一人物の類似度は非常に少ないことから、類似度行列の要素群は正規分布であると仮定し、この正規分布の中心と標準偏差を一定値に正規化する方法である。
次に対応付け部212は、すべてのカメラ10の組に対して算出された類似度行列を用いて、クラスタリング処理により、類似度の高い追跡情報をいくつかのクラスタに分類する。クラスタリング処理は、任意の方法を適用できるが、例えば特許文献2に記載の方法を用いてクラスタリングしてもよい。
ここで、同一のカメラ10で得られた画像については、追跡部111によって同一の移動体が対応付けられている。このため、対応付け部212は、同一のカメラ10から得られた追跡情報には、同一の移動体の追跡情報は存在しないと仮定し、同一のカメラ10から得られた追跡情報間の類似度を0にしてクラスタリングしてもよい。これにより、対応付けの性能を向上させることができる。
一般的なクラスタリング手法では、上記のような、すべての追跡情報間の類似度を記述したN×Nの類似度行列が必要になる。一方、特許文献2に示されるクラスタリング手法では、各追跡情報と、限られた数の追跡情報との間の類似度のみを用いて計算を実行することが可能である。例えば、N個すべての類似度が必要ではなく、近傍のk個(k<N)の類似度と、いずれの追跡情報であるかを示すインデックスのみでよい。このため、N×k個の類似度とインデックスとがクラスタリング処理で用いられる。特許文献2のクラスタリング手法は、必要な情報が少なくてよいため、計算量も少なく高速に処理が可能である。
また、追跡情報を追加したクラスタリングを行う場合でも、それまでの処理で生成した類似度の情報と比較し、より近い追跡情報が存在する場合のみ、類似度およびインデックスを更新し、再度クラスタリング処理を行えばよい。
対応付け部212は、上記のようなクラスタリング処理により、相互に類似する複数の移動体情報を同一の移動体の移動体情報として対応付ける対応付け処理を3以上の移動体情報に対して一括して実行する。例えば、同一のクラスタに分類された追跡情報が、同一の移動体の追跡情報として対応付けられた追跡情報に相当する。これにより、全体最適な対応付け結果を得ることができる。
図7〜図9を用いて、本実施形態の対応付け処理の概念についてさらに説明する。図7は、従来のように、2台のカメラ間での対応付けを繰り返す方式を示す概念図である。
図7の追跡情報701〜706は、それぞれ異なるカメラで得られる追跡情報を示す。複数の防犯カメラを用いた移動体追跡システムなどでは、時間の経過に従い、追跡情報701、702、703、704、705、および、706が順次得られる。通常は、追跡情報が得られるごとに、類似する追跡情報が対応付けられる。例えば、最初に得られた追跡情報701と、次に得られた追跡情報702とが対応づけられる(ステップS701)。さらに追跡情報703が得られると、ステップS701で対応付けられた追跡情報と、追跡情報703とが対応付けられる(ステップS702)。その後、同様の処理が繰り返される(ステップS703〜ステップS705)。
このような方式では、カメラの台数が多くなると、性能が維持できない場合がある。また、対応付けの結果が対応付けの順序に依存し、全体として最適な対応付け結果が得られない場合がある。
図8は、本実施形態の対応付け処理を示す概念図である。図8に示すように、本実施形態では、複数の追跡情報701〜707が得られたときに、一括して対応付け処理が実行される(ステップS801)。従って、全体最適な対応付け結果を得ることができる。本実施形態では、3以上の追跡情報が得られたときに対応付け処理が実行されるため、図7の方式と比較して対応付けの結果が得られるタイミングが遅れる。本実施形態の対応付け処理のタイミングは、例えば遅れが問題にならない程度に、適用するシステムに応じて適宜定めればよい。
図9は、クラスタリング処理の例を示す概念図である。図9では、2次元の特徴空間で人物(追跡情報)を4つのクラスタ901〜904に分類した例が示されている。クラスタリング処理では、特徴空間での近さに基づいて人物(追跡情報)が分類される。
図3に戻り、出力制御部213は、対応付け部212にて対応付けた移動体情報(追跡情報)を出力する。例えば出力制御部213は、対応付けた追跡情報のうち、ある人物に対応する追跡情報を表示装置206に表示させる。
図10は、表示される追跡情報の一例を示す図である。図10では、ある人物の追跡情報を対応づけた移動軌跡300が表示される例が示されている。図11は、表示される追跡情報の他の例を示す図である。図11では、移動軌跡300とともに、最新の時刻に対応する画像401と、過去の時刻に対応する画像402とが表示される例が示されている。また図11の例では、画像と併せて歩行者のアイコンも表示されている。
次に、このように構成された第1の実施形態にかかる移動体追跡装置20による移動体追跡処理について図12を用いて説明する。図12は、第1の実施形態における移動体追跡処理の一例を示すフローチャートである。
各カメラ10が、画像を撮像する(ステップS101)。カメラ10の追跡部111は、撮像された画像を用いて移動体を追跡し、追跡情報を算出する(ステップS102)。追跡情報は、例えば通信制御部112により移動体追跡装置20に送信される。
移動体追跡装置20の取得部211は、各カメラ10から追跡情報を取得する(ステップS103)。対応付け部212は、3以上のカメラ10から取得された3以上の追跡情報に対して、対応付け処理を実行する(ステップS104)。出力制御部213は、対応付け処理の結果を出力する(ステップS105)。
このように、第1の実施形態にかかる移動体追跡装置では、各カメラから取得した移動体の情報を用いて、一括処理により全体最適な同一の移動体への対応付けを実行する。これにより、例えば、移動体の移動軌跡の情報を、より高精度に得ることが可能となる。
(第2の実施形態)
第2の実施形態にかかる移動体追跡装置は、各カメラ(各カメラから取得される追跡情報)を、複数の集合のいずれかに分類する。そして、各集合内で追跡情報を対応付けた後、集合間でさらに追跡情報を対応付ける。これにより、分散処理が可能になる。
図13は、第2の実施形態にかかる移動体追跡装置20−2の構成の一例を示すブロック図である。図13に示すように、移動体追跡装置20−2は、取得部211と、対応付け部212−2と、出力制御部213−2と、分類部214−2と、を備えている。
カメラ10は第1の実施形態と同様である。また、第2の実施形態の移動体追跡装置20−2は、対応付け部212−2と出力制御部213−2の機能、および、分類部214−2を追加したことが第1の実施形態と異なっている。その他の構成および機能は、第1の実施形態にかかる移動体追跡装置20のブロック図である図3と同様であるので、同一符号を付し、ここでの説明は省略する。
分類部214−2は、複数のカメラ10を複数の集合に分類する。なお事前に集合が定められる場合は、分類部214−2は備えられなくてもよい。例えば分類部214−2は、複数のカメラ10間の直線距離、および、カメラ10間を移動体が移動する経路の距離の少なくとも一方に基づいて、複数のカメラ10を複数の集合に分類する。
分類部214−2は、距離の近さに基づくクラスタリング処理により、各カメラ10を指定された個数の集合に分類してもよい。分類する集合の個数は、例えば、操作装置205などを用いてユーザにより指定可能としてもよい。各カメラ10は、1つ以上の集合に属していてもよい。
集合への分類方法はこれに限られず、どのような方法であってもよい。例えば、複数のカメラ10が建物の各階のいずれかに設置される場合、階ごとにカメラ10を分類してもよい。分類するカメラ10をユーザが選択できるように構成してもよい。
図14は、ユーザが分類するカメラ10を選択するための選択画面1401の一例を示す図である。図14に示す選択画面1401は、対応付けた追跡情報を表示する画面(図11)と同様の画面で、カメラ10を選択可能とする例である。アイコン1411〜1416は、ある集合に属するカメラ10として選択されたカメラ10を示すアイコンである。OKボタン1421が押下されると、選択されたカメラ10が、当該集合に属するカメラ10として分類される。キャンセルボタン1422が押下されると、選択処理がキャンセルされる。
なお各追跡情報は、カメラ10のいずれかから取得される。従って、カメラ10を分類する集合は、追跡情報を分類する集合でもあると考えることができる。すなわち、複数の追跡情報のそれぞれは、複数の集合のうち、追跡情報が求められた画像が撮像されたカメラ10の属する1以上の集合に分類される。
図13に戻り、対応付け部212−2は、集合内対応付け部221−1〜221−m(mは集合の個数で2以上の整数)と、集合間対応付け部222と、を備えている。
集合内対応付け部221−1〜221−mは、対応する集合に含まれる追跡情報に対して対応付け処理を実行する。集合内対応付け部221−1〜221−mは、同様の機能を備えるため、区別する必要がない場合は単に集合内対応付け部221という。集合内対応付け部221は、第1の実施形態の対応付け部212と同様の手法により、追跡情報を対応付ける。
図13では、集合ごとに集合内対応付け部221が備えられている。1つの集合内対応付け部221が、複数の集合に対して対応付け処理を実行するように構成してもよい。
集合間対応付け部222は、集合内対応付け部221により対応づけられた追跡情報に対して、さらに対応付け処理を実行する。例えば集合間対応付け部222は、集合内対応付け部221によって対応付けられた追跡情報を、すべての集合から集め、第1の実施形態の対応付け部212と同様の手法により、追跡情報を対応付ける。
出力制御部213−2は、集合内で対応付けた移動体情報と、集合間で対応付けた移動体情報と、のうち少なくとも1つを出力する機能をさらに備える。例えば出力制御部213−2は、集合内で対応付けた移動体情報と、集合間で対応付けた移動体情報とのいずれかの出力、または、両方の出力、を切り替える機能を備える。
図15は、本実施形態の対応付け処理を示す概念図である。図15では、追跡情報701〜703が1つの集合に属し、追跡情報704〜706が別の1つの集合に属する例が示されている。少なくとも追跡情報701〜703が得られると、この集合に対応する集合内対応付け部221が、対応付け処理を実行する(ステップS1501)。追跡情報704〜706が得られると、この集合に対応する集合内対応付け部221が、対応付け処理を実行する(ステップS1502)。その後、集合間対応付け部222が、ステップS1501およびステップS1502で対応づけられた追跡情報に対して、さらに対応付け処理を実行する(ステップS1503)。
次に、このように構成された第2の実施形態にかかる移動体追跡装置20−2による移動体追跡処理について図16を用いて説明する。図16は、第2の実施形態における移動体追跡処理の一例を示すフローチャートである。なお、移動体追跡処理より前に、カメラ10を集合へ分類する処理は完了しているものとする。
ステップS201からステップS203までは、第1の実施形態にかかる移動体追跡装置20におけるステップS101からステップS103までと同様の処理なので、その説明を省略する。
集合内対応付け部221は、対応する集合に属する追跡情報に対して、対応付け処理を実行する(ステップS204)。2以上の集合について対応付け処理が実行された後、集合間対応付け部222は、集合間での追跡情報の対応付け処理を実行する(ステップS205)。出力制御部213−2は、対応付け処理の結果を出力する(ステップS206)。
出力制御部213−2は、例えばユーザからの指定に応じて、集合内で対応付けた追跡情報と、集合間で対応付けた追跡情報と、のいずれか、または、両方を切り替えて出力してもよい。例えば、ユーザが1つの集合の追跡情報の表示を指定した場合、出力制御部213−2は、指定された集合から得られた追跡情報を表示装置206に表示する。
例えば、ある建物の1階に設置されたカメラ10が属する集合と、2階に設置されたカメラ10が属する集合とが定められたとする。ユーザが、ある階(例えば1階)に対応する集合から得られた追跡情報の表示を指定した場合、出力制御部213−2は、例えば、図10に示すような追跡情報を表示する。ユーザが、複数の階(例えば1階および2階)に対応する集合から得られた追跡情報の表示を指定した場合、出力制御部213−2は、例えば、図11に示すような追跡情報を表示する。
以上のように、第2の実施形態にかかる移動体追跡装置では、各カメラを分類した複数の集合内で追跡情報を対応付けた後、集合間でさらに追跡情報を対応付ける。これにより、分散処理が可能になるため、例えば処理の高速化を実現できる。
(第3の実施形態)
上記各実施形態では、複数のカメラから得られる追跡情報を移動体情報として、類似度に基づく対応付け処理が実行された。各カメラで追跡情報を求めるときにも、上記各実施形態と同様の手法を適用することができる。すなわち、第3の実施形態では、各カメラが、撮像した画像内の移動体を追跡した追跡情報を求めるときに、一括処理により全体最適な同一の移動体への対応付けを実行する。
図17は、第3の実施形態にかかるカメラ1700−3および移動体追跡装置20−2の構成の一例を示すブロック図である。移動体追跡装置20−2は、第2の実施形態と同様であるため同一の符号を付し説明を省略する。なお移動体追跡装置20−2の代わりに、第1の実施形態の移動体追跡装置20を備えるように構成してもよい。
図17に示すように、カメラ1700−3は、追跡部111−3と、通信制御部112と、を備えている。
第3の実施形態のカメラ1700−3は、追跡部111−3の機能が第1の実施形態と異なっている。その他の構成および機能は、第1の実施形態にかかるカメラ10のブロック図である図3と同様であるので、同一符号を付し、ここでの説明は省略する。
追跡部111−3は、撮像された画像から検出された移動体の情報(検出情報)を追跡情報の代わりに用いて第1の実施形態または第2の実施形態の対応付け処理を実行することにより、追跡情報を求める。検出情報は、例えば、1フレームの画像から検出された移動体の外接矩形を切り出した部分画像を示す情報である。
追跡部111−3は、第1の実施形態の移動体追跡装置20(取得部211、対応付け部212、出力制御部213)、または、第2の実施形態の移動体追跡装置20−2(取得部211、対応付け部212−2、出力制御部213−2、分類部214−2)と同様の機能を備える。本実施形態では、カメラ1700−3または追跡部111−3も、移動体追跡装置に相当すると考えることができる。
例えば追跡部111−3は、撮像された画像に含まれる移動体を示す複数の移動体情報(検出情報)を取得する(取得部211の機能)。追跡部111−3は、移動体情報(検出情報)を対応付ける対応付け処理を、3以上の検出情報に対して一括して実行する(対応付け部212または対応付け部212−2の機能)。追跡部111−3は、対応付けられた検出情報(追跡情報に相当)を出力する(出力制御部213または出力制御部213−2の機能)。
このように、本実施形態では、検出情報が、画像に含まれる移動体を示す移動体情報に相当する。追跡部111−3が検出する複数の検出情報は、当該カメラ1700−3で撮像された複数の画像のうち、ある画像(第1画像)から検出される移動体を示す検出情報(第1移動体情報)、および、他の画像(第2画像)から検出される移動体を示す検出情報(第2移動体情報)を含む。
図18は、本実施形態の対応付け処理を示す概念図である。図18は、第2の実施形態の手法を追跡部111−3に適用した例を示す。図18に示すように、本実施形態では、例えば1フレームの画像から得られる検出情報1801〜1806が、対応付け処理により対応付けられる。図18では、検出情報1801〜1803が1つの集合に属し、検出情報1804〜1806が別の1つの集合に属する例が示されている。
少なくとも検出情報1801〜1803が得られると、この集合に属する検出情報に対して対応付け処理が実行される(ステップS1801)。検出情報1804〜1806が得られると、この集合に属する検出情報に対して対応付け処理が実行される(ステップS1802)。その後、ステップS1801およびステップS1802で対応づけられた検出情報に対して、さらに対応付け処理が実行される(ステップS1803)。
このように、第3の実施形態では、各カメラで追跡情報を求めるときに、第1または第2の実施形態と同様の手法を適用することができる。
以上説明したとおり、第1から第3の実施形態によれば、移動体の情報を、より高精度に得ることが可能となる。
第1から第3の実施形態にかかる装置(カメラ、移動体追跡装置)で実行されるプログラムは、ROM等に予め組み込まれて提供される。
第1から第3の実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
さらに、第1から第3の実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第1から第3の実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
第1から第3の実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部として機能させうる。このコンピュータは、CPUがコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 移動体追跡システム
10−1〜10−n カメラ
20、20−2 移動体追跡装置
111、111−3 追跡部
112 通信制御部
211 取得部
212、212−2 対応付け部
213、213−2 出力制御部
214−2 分類部

Claims (11)

  1. 撮像された画像に含まれる移動体を示す複数の移動体情報を取得する取得部と、
    相互に類似する複数の前記移動体情報を、同一の移動体の前記移動体情報として対応付ける対応付け処理を、3以上の前記移動体情報に対して実行する対応付け部と、
    対応付けられた前記移動体情報を出力する出力制御部と、
    を備える移動体追跡装置。
  2. 複数の前記移動体情報のそれぞれは、複数の集合のうち1以上の集合に分類され、
    前記対応付け部は、
    前記集合に含まれる移動体情報に対して前記対応付け処理を実行する集合内対応付け部と、
    前記集合内対応付け部により対応づけられた移動体情報に対して前記対応付け処理を実行する集合間対応付け部と、を備える、
    請求項1に記載の移動体追跡装置。
  3. 前記移動体情報は、複数の画像に含まれる移動体を追跡した情報を示す追跡情報であり、
    複数の前記追跡情報に含まれる第1追跡情報は、複数の撮像部に含まれる第1撮像部で撮像された画像に基づき求められ、複数の前記追跡情報に含まれる第2追跡情報は、前記複数の撮像部に含まれる第2撮像部で撮像された画像に基づき求められ、
    複数の前記追跡情報のそれぞれは、対応する撮像部が属する前記集合に分類される、
    請求項2に記載の移動体追跡装置。
  4. 前記撮像部間の直線距離、および、前記撮像部間を移動体が移動する経路の距離の少なくとも一方に基づいて、複数の前記撮像部を複数の前記集合に分類する分類部をさらに備える、
    請求項3に記載の移動体追跡装置。
  5. 前記出力制御部は、前記集合内で対応付けた前記移動体情報と、前記集合間で対応付けた前記移動体情報と、のうち少なくとも1つを出力する、
    請求項2に記載の移動体追跡装置。
  6. 前記移動体情報は、複数の画像に含まれる移動体を追跡した情報を示す追跡情報であり、
    複数の前記追跡情報に含まれる第1追跡情報は、複数の撮像部に含まれる第1撮像部で撮像された画像に基づき求められ、複数の前記追跡情報に含まれる第2追跡情報は、前記複数の撮像部に含まれる第2撮像部で撮像された画像に基づき求められる、
    請求項1に記載の移動体追跡装置。
  7. 複数の前記移動体情報に含まれる第1移動体情報は、1の撮像部で撮像された複数の画像のうち第1画像から検出される移動体を示し、複数の前記移動体情報に含まれる第2移動体情報は、前記撮像部で撮像された複数の画像のうち第2画像から検出される移動体を示す、
    請求項1に記載の移動体追跡装置。
  8. 前記対応付け部は、3以上の前記移動体情報を類似度に基づいて複数のクラスタに分類し、同一のクラスタに分類された前記移動体情報を同一の移動体の前記移動体情報として対応付ける、
    請求項1に記載の移動体追跡装置。
  9. 選択された複数の撮像部から、複数の画像に含まれる移動体を追跡した情報を示す複数の追跡情報を取得する取得部と、
    相互に類似する複数の前記追跡情報を、同一の移動体の前記追跡情報として対応付ける対応付け処理を、3以上の前記追跡情報に対して実行する対応付け部と、
    対応付けられた前記追跡情報を出力する出力制御部と、
    を備える移動体追跡装置。
  10. 撮像された画像に含まれる移動体を示す複数の移動体情報を取得する取得ステップと、
    相互に類似する複数の前記移動体情報を、同一の移動体の前記移動体情報として対応付ける対応付け処理を、3以上の前記移動体情報に対して実行する対応付けステップと、
    対応付けられた前記移動体情報を出力する出力制御ステップと、
    を含む移動体追跡方法。
  11. コンピュータを、
    撮像された画像に含まれる移動体を示す複数の移動体情報を取得する取得部と、
    相互に類似する複数の前記移動体情報を、同一の移動体の前記移動体情報として対応付ける対応付け処理を、3以上の前記移動体情報に対して実行する対応付け部と、
    対応付けられた前記移動体情報を出力する出力制御部と、
    として機能させるためのプログラム。
JP2017105763A 2017-05-29 2017-05-29 移動体追跡装置、移動体追跡方法およびプログラム Active JP6833617B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017105763A JP6833617B2 (ja) 2017-05-29 2017-05-29 移動体追跡装置、移動体追跡方法およびプログラム
EP18156911.2A EP3410396B1 (en) 2017-05-29 2018-02-15 Moving object tracking apparatus, moving object tracking method, and computer-readable medium
US15/897,275 US10891740B2 (en) 2017-05-29 2018-02-15 Moving object tracking apparatus, moving object tracking method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017105763A JP6833617B2 (ja) 2017-05-29 2017-05-29 移動体追跡装置、移動体追跡方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018201161A true JP2018201161A (ja) 2018-12-20
JP6833617B2 JP6833617B2 (ja) 2021-02-24

Family

ID=61580910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017105763A Active JP6833617B2 (ja) 2017-05-29 2017-05-29 移動体追跡装置、移動体追跡方法およびプログラム

Country Status (3)

Country Link
US (1) US10891740B2 (ja)
EP (1) EP3410396B1 (ja)
JP (1) JP6833617B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185521A1 (ja) * 2021-03-05 2022-09-09 三菱電機株式会社 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム
WO2023062754A1 (ja) * 2021-10-13 2023-04-20 日本電気株式会社 物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体
JP7450754B2 (ja) 2020-04-24 2024-03-15 ヒューマニシング オートノミー リミテッド 画像解析から得られたフィンガープリントを用いた、画像フレーム全体に亘る脆弱な道路利用者の追跡

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022216708A1 (en) * 2021-04-09 2022-10-13 Iris Technology Inc. Tracking objects across images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146378A (ja) * 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009271577A (ja) * 2008-04-30 2009-11-19 Panasonic Corp 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
JP5174068B2 (ja) 2010-03-11 2013-04-03 株式会社東芝 信号分類装置
US9684835B2 (en) 2012-09-13 2017-06-20 Nec Corporation Image processing system, image processing method, and program
JP6273685B2 (ja) * 2013-03-27 2018-02-07 パナソニックIpマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US9613277B2 (en) * 2013-08-26 2017-04-04 International Business Machines Corporation Role-based tracking and surveillance
JP6495705B2 (ja) 2015-03-23 2019-04-03 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
KR102369795B1 (ko) * 2015-12-17 2022-03-03 한화테크윈 주식회사 영상 제공 장치 및 방법
JP6649232B2 (ja) 2016-11-18 2020-02-19 株式会社東芝 検索装置、表示装置および検索方法
JP6615800B2 (ja) 2017-01-11 2019-12-04 株式会社東芝 情報処理装置、情報処理方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146378A (ja) * 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7450754B2 (ja) 2020-04-24 2024-03-15 ヒューマニシング オートノミー リミテッド 画像解析から得られたフィンガープリントを用いた、画像フレーム全体に亘る脆弱な道路利用者の追跡
WO2022185521A1 (ja) * 2021-03-05 2022-09-09 三菱電機株式会社 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム
JPWO2022185521A1 (ja) * 2021-03-05 2022-09-09
JP7270855B2 (ja) 2021-03-05 2023-05-10 三菱電機株式会社 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム
GB2619633A (en) * 2021-03-05 2023-12-13 Mitsubishi Electric Corp Movement path estimation device, movement path estimation method, and movement path estimation program
GB2619633B (en) * 2021-03-05 2024-06-19 Mitsubishi Electric Corp Movement route estimation device, movement route estimation method, and movement route estimation program
WO2023062754A1 (ja) * 2021-10-13 2023-04-20 日本電気株式会社 物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
US20180342071A1 (en) 2018-11-29
EP3410396A1 (en) 2018-12-05
US10891740B2 (en) 2021-01-12
JP6833617B2 (ja) 2021-02-24
EP3410396B1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
JP7317919B2 (ja) 外観検索のシステムおよび方法
JP6659524B2 (ja) 移動体追跡装置、表示装置および移動体追跡方法
US8144932B2 (en) Image processing apparatus, image processing method, and interface apparatus
JP6833617B2 (ja) 移動体追跡装置、移動体追跡方法およびプログラム
US9294665B2 (en) Feature extraction apparatus, feature extraction program, and image processing apparatus
JP6532190B2 (ja) 画像検索装置、画像検索方法
US11049256B2 (en) Image processing apparatus, image processing method, and storage medium
EP2701094A2 (en) Object detection apparatus and control method thereof, program, and storage medium
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
JP2012073684A (ja) 画像認識方法及び装置並びにプログラム
Boufama et al. Trajectory-based human activity recognition from videos
JP2018206252A (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101521136B1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
CN116958873A (zh) 行人跟踪方法、装置、电子设备及可读存储介质
Filipovych et al. Robust sequence alignment for actor–object interaction recognition: Discovering actor–object states
Yang et al. A novel group-sparsity-optimization-based feature selection model for complex interaction recognition
US11443552B2 (en) Image pattern similarity calculation device and recognition device
Goyal et al. Moving Object Detection in Video Streaming Using Improved DNN Algorithm
Sykora et al. Comparison of Neural Networks with Feature Extraction Methods for Depth Map Classification
JP2013120504A (ja) オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム
US20230377188A1 (en) Group specification apparatus, group specification method, and computer-readable recording medium
JP4994174B2 (ja) データ処理装置及びデータ処理方法
Ghoshal et al. K-NN Based Text Segmentation from Digital Images Using a New Binarization Scheme
JP2016053792A (ja) 画像判定装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R151 Written notification of patent or utility model registration

Ref document number: 6833617

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151