JP2021068418A - 目標検出追跡方法、装置、電子デバイス、記憶媒体、及びプログラム - Google Patents

目標検出追跡方法、装置、電子デバイス、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP2021068418A
JP2021068418A JP2020105772A JP2020105772A JP2021068418A JP 2021068418 A JP2021068418 A JP 2021068418A JP 2020105772 A JP2020105772 A JP 2020105772A JP 2020105772 A JP2020105772 A JP 2020105772A JP 2021068418 A JP2021068418 A JP 2021068418A
Authority
JP
Japan
Prior art keywords
camera
detection
tracking
data stream
modules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020105772A
Other languages
English (en)
Other versions
JP6921277B2 (ja
Inventor
ズー,シャオシン
Xiaoxing Zhu
サン,ヨンイ
Yongyi Sun
ワン,チェンファ
Chengfa Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021068418A publication Critical patent/JP2021068418A/ja
Application granted granted Critical
Publication of JP6921277B2 publication Critical patent/JP6921277B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/025Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

【課題】スマート交通分野に関し、目標検出追跡方法、装置、電子デバイス、記憶媒体及びプログラムを提供する。【解決手段】目標検出追跡方法は、複数のカメラと、複数の検出モジュールと、複数の追跡モジュールと、複数のストレージキューとを予め設置し、各カメラが1つのストレージキューと1つの追跡モジュールとに対応することと、各カメラにより収集されたデータストリームを複数の検出モジュールに配信することと、各検出モジュールがそれぞれ、受信したデータストリームに対し検出を行い、各カメラからのデータストリームに対する検出結果を、カメラに対応するストレージキューに送信することと、カメラに対応する追跡モジュールが、カメラに対応するストレージキューから検出結果を抽出し、検出結果を用いて目標追跡を行うことと、を含む。【選択図】図2

Description

本発明は、スマート交通分野に関し、特に目標検出追跡方法、装置、電子デバイス、記憶媒体、及びプログラムに関する。
目標の検出と追跡技術において、検出は、ビデオフレームにおける目標を認識することを目的とし、追跡は、前のフレームにおける目標と次のフレームにおける目標とのマッチング関係を特定することにより、目標の追跡軌跡を特定することを目的とする。検出と追跡は、目標に対する感知を共に構成する。
従来技術では、通常、検出モジュールと追跡モジュールとの結合体、すなわち、検出モジュールと追跡モジュールとを有する感知モジュールが採用されている。複数の出入口に設置された複数のカメラに収集されたデータストリームにより目標感知を行う場合、1つのカメラは、1つの感知モジュールに対応し、カメラにより収集されたデータストリームは、対応する感知モジュールに送られ、感知モジュールにおける検出モジュールは、データストリームを検出して、検出結果を追跡モジュールに入力し、追跡モジュールは、検出結果を用いて目標追跡を行う。追跡モジュールは、検出モジュールが検出結果を得た後に処理を行う必要があるため、このようなシリアル処理には、時間がかかる。
本発明は、従来技術における1つ又は複数の技術課題を解決するための目標検出追跡方法、装置、電子デバイス、及び記憶媒体を提供する。
本発明の第1様態は、目標検出追跡方法を提供する。当該目標検出追跡方法は、
複数のカメラと、複数の検出モジュールと、複数の追跡モジュールと、複数のストレージキューとを予め設置し、前記カメラ、前記ストレージキュー及び前記追跡モジュールの数が同じであり、各前記カメラが1つの前記ストレージキューと1つの前記追跡モジュールとに対応することと、
各前記カメラにより収集されたデータストリームを前記複数の検出モジュールに配信することと、
各前記検出モジュールがそれぞれ、受信した前記データストリームに対し検出を行い、各前記カメラからの前記データストリームに対する検出結果を、前記カメラに対応する前記ストレージキューに送信することと、
前記カメラに対応する前記追跡モジュールが、前記カメラに対応する前記ストレージキューから前記検出結果を抽出し、前記検出結果を用いて目標追跡を行うことと、を含む。
本発明の本実施形態によれば、検出モジュールと追跡モジュールに一対一対応ではない配信方式を採用することにより、カメラにより収集されたデータストリームを各検出モジュールに配信して検出を行い、検出結果をカメラに対応するストレージキューに送信し、カメラに対応する追跡モジュールが検出結果を抽出して目標認識を行うことで、従来のシリアル処理方式をパイプライン非同期方式に変えることを実現し、検出と追跡の処理時間を減らすことができる。
1つの実施形態において、各前記カメラにより収集された前記データストリームを前記複数の検出モジュールに配信することは、負荷分散方式を用いて、各前記カメラにより収集された前記データストリームを前記複数の検出モジュールに配信することを含む。
本発明の本実施形態によれば、負荷分散方式を用いて検出モジュールにデータストリームを配信することで、可能な限り検出のスピードを向上させることができる。
1つの実施形態において、前記ストレージキューは、ストレージミドルウェアを含む。
本発明の第2様態は、目標検出追跡装置を提供する。当該目標検出追跡装置は、
配信モジュールと、複数のカメラと、複数の検出モジュールと、複数の追跡モジュールと、複数のストレージキューと、を備え、前記カメラ、前記ストレージキュー及び前記追跡モジュールの数が同じであり、各前記カメラが1つの前記ストレージキューと1つの前記追跡モジュールとに対応する、目標検出追跡装置であり、
前記カメラは、データストリームを収集し、
前記配信モジュールは、各前記カメラにより収集された前記データストリームを前記複数の検出モジュールに配信し、
前記検出モジュールは、受信した前記データストリームに対し検出を行い、各前記カメラからの前記データストリームに対する検出結果をそれぞれ、前記カメラに対応する前記ストレージキューに送信し、
前記ストレージキューは、対応する前記カメラからの前記データストリームに対する検出結果を記憶し、
前記追跡モジュールは、前記カメラに対応する前記ストレージキューから前記検出結果を抽出し、前記検出結果を用いて目標追跡を行う。
1つの実施形態において、前記配信モジュールは、負荷分散方式を用いて各前記カメラにより収集された前記データストリームを前記複数の検出モジュールに配信するために用いられる。
1つの実施形態において、前記ストレージキューは、ストレージミドルウェアを含む。
本発明の第3様態は、電子設備を提供する。当該電子設備は、
1つ又は複数のプロセッサと、
前記1つ又は複数のプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記1つ又は複数のプロセッサにより実行可能なコマンドを記憶しており、
前記1つ又は複数のプロセッサが、前記1つ又は複数のコマンドを実行する場合、第1態様のいずれか1項に記載の目標検出追跡方法を実行させる。
本発明の第4態様は、コンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体を提供する。当該コンピュータコマンドが上述の目標検出追跡方法を実行させるために用いられる。
上記本発明の実施形態のうちの少なくとも1つの実施形態は、下記のメリット及び有益的な効果を有する。
本発明によれば、検出モジュールと追跡モジュールに一対一対応ではない配信方式を採用することにより、カメラにより収集されたデータストリームを各検出モジュールに配信して検出を行い、検出結果をカメラに対応するストレージキューに送信し、カメラに対応する追跡モジュールが検出結果を抽出して目標認識を行うことで、従来のシリアル処理方式をパイプライン非同期方式に変えることを実現し、検出と追跡の処理時間を減らすことができる。
上記の選択可能な実施形態によるその他の効果については、具体的な実施形態とあわせて後述する。
添付図面は、本開示の理解を促すためのものであり、いかなる限定をも目的としない。
本発明の実施形態による目標検出追跡方法におけるモジュール設置を示す模式図である。 本発明の実施形態による目標検出追跡方法の実現のフローチャートである。 本発明の実施形態による目標検出追跡装置の構成を示す模式図である。 本発明の実施形態による目標検出追跡方法を実現する電子デバイスのブロック図である。
以下、図面を参照しながら本発明の例示的な実施形態を説明するが、本発明の実施形態の様々な細部がより理解を促すために含まれており、それらは単なる例示的と考えられるべきである。したがって、当業者は、本発明の範囲および旨から逸脱することなく、本願明細書に記載された実施形態に対して様々な変更および修正を行うことができることを理解すべきである。同様に、以下の説明では、公知な機能および構造についての説明は、明瞭かつ簡明のために省略される。
本発明の実施形態による目標検出追跡方法において、複数のカメラと、複数の検出モジュールと、複数の追跡モジュールと、複数のストレージキューとが予め設置され、カメラ、ストレージキュー及び追跡モジュールの数は同じであり、各カメラが、1つのストレージキューと1つの追跡モジュールとに対応している。
図1は、本発明の実施形態による目標検出追跡方法におけるモジュール設置を示す模式図である。図1に示すように、複数の出入口を有する交差点には、カメラ1、カメラ2...カメラnであるn個のカメラがそれぞれ設置され、D1、D2...Dmであるm個の検出モジュールが設置される。ここで、mとnは、同じでもよいし、異なってもよい。各カメラは、1つのストレージキューと1つの追跡モジュールとに対応している。図1に示すように、キュー1、キュー2、…、キューnであるn個のストレージキューがあり、T1、T2...Tnであるn個の追跡モジュールがある。カメラ1は、キュー1と追跡モジュールT1とに対応し、カメラ2は、キュー2と追跡モジュールT2とに対応し、…、カメラnは、キューnと追跡モジュールTnとに対応する。
図1に示すように、各カメラにより収集されたデータストリームは、いずれも異なる複数の検出モジュールに配信されることができ、例えば、カメラ1により収集されたデータストリームは、検出モジュールD1、D2、…、Dmに配信される。各検出モジュールは、カメラ1からのデータストリームの一部を処理して、各検出結果をカメラ1の対応するキュー1に均一に送信する。カメラ1に対応する追跡モジュールT1は、キュー1から検出結果を読み取り、読み取った検出結果を用いて目標追跡を行うことができる。図1では、明確に示すために、カメラ1により収集されたデータストリームと処理結果との入出力方向のみを示しているが、他のカメラの場合も同様である。
図2は、本発明の実施形態による目標検出追跡方法の実現のフローチャートであり、当該フローチャートは、下記のステップS201、S202、S203を含む。
ステップS201において、各カメラにより収集されたデータストリームを複数の検出モジュールに配信する。
ステップS202において、各検出モジュールがそれぞれ、受信したデータストリームに対し検出を行い、各カメラからのデータストリームに対する検出結果を、カメラに対応するストレージキューに送信する。
ステップS203において、カメラに対応する追跡モジュールが、カメラに対応するストレージキューから検出結果を抽出し、検出結果を用いて目標追跡を行う。
1つの可能な実施形態では、ステップS201には、負荷分散方式を用いて、各カメラにより収集されたデータストリームを複数の検出モジュールに配信することが含まれてもよい。
1つの可能な実施形態では、ストレージキューは、カフカストレージミドルウェアなどのストレージミドルウェアを含む。
1つの可能な実施形態では、検出モジュールは、受信したデータストリームがどのカメラから来たのかを判定し、検出結果を当該カメラに対応するストレージキューに送信することができるように、カメラにより収集されたデータストリームに当該カメラの標識が付加されてもよい。
具体的には、上記ステップS201は、データストリームにカメラの標識を付加し、カメラの標識を含むデータストリームを複数の検出モジュールに配信することを含むことができ、このカメラとは、このデータストリームを収集するカメラである。
上記ステップS202において、各カメラからのデータストリームに対する検出結果をカメラに対応するストレージキューに送信することは、データストリームに含まれるカメラの標識に基づいて、対応するカメラを特定し、各カメラからのデータストリームに対する検出結果を、特定されたカメラに対応するストレージキューにそれぞれ送信することを含んでもよい。
以上の実施形態から、検出モジュールと追跡モジュールに一対一対応ではない配信方式を採用することにより、カメラにより収集されたデータストリームを各検出モジュールに配信して検出を行い、検出結果をカメラに対応するストレージキューに送信し、カメラに対応する追跡モジュールが検出結果を抽出して目標認識を行うことで、従来のシリアル処理方式をパイプライン非同期方式に変えることを実現し、検出と追跡の処理時間を減らせることが分かる。例えば、仮に検出モジュールによる1フレーム画像の処理時間をAとし、追跡モジュールによる1フレーム画像の処理時間をBとすると、従来技術では、感知モジュール全体の処理時間はA+Bとなるが、本発明の実施形態によれば、感知モジュール全体の処理時間をmax(A、B)に短縮することができる。
本発明の実施形態は、目標検出追跡装置をさらに提供する。図3は、本発明の実施形態による目標検出追跡装置の構成を示す模式図であり、該装置は、配信モジュール301と、複数のカメラ302と、複数の検出モジュール303と、複数の追跡モジュール304と、複数のストレージキュー305と、を備え、カメラ302、ストレージキュー305及び追跡モジュール304の数が同じであり、各カメラ302が1つのストレージキュー305と1つの追跡モジュール304とに対応する、目標検出追跡装置であり、
カメラ302は、データストリームを収集するために用いられ、
配信モジュール301、各カメラ302により収集されたデータストリームを複数の検出モジュール303に配信するために用いられ、
検出モジュール303は、受信したデータストリームに対し検出を行い、各カメラ302からのデータストリームに対する検出結果をそれぞれ各カメラ302に対応するストレージキュー305にそれぞれ送信するために用いられ、
ストレージキュー305は、カメラ302からのデータストリームに対する検出結果を記憶するために用いられ、
追跡モジュール304は、カメラ302に対応するストレージキュー305から検出結果を抽出し、検出結果を用いて目標追跡を行うために用いられる。
1つの可能な実施形態では、配信モジュール301は、負荷分散方式を用いて各カメラにより収集されたデータストリームを複数の検出モジュールに配信するために用いられる。
1つの可能な実施形態では、ストレージキューは、カフカストレージミドルウェアなどのストレージミドルウェアを含む。
1つの可能な実施形態では、配信モジュール301は、データストリームにカメラの標識を付加し、カメラの標識を含むデータストリームを複数の検出モジュールに配信するために用いられ、検出モジュール303は、データストリームに含まれるカメラの標識に基づいて、対応するカメラを特定し、各カメラからのデータストリームに対する検出結果をそれぞれ、特定されたカメラに対応するストレージキューにそれぞれ送信するために用いられる。
本発明の実施形態による各装置における各モジュールの機能については、上述方法における対応の説明を参照してもよく、ここでは説明を省略する。
以上の実施形態から、本発明の実施形態による目標検出追跡装置では、検出モジュールと追跡モジュールに一対一対応ではない配信方式を採用させることにより、カメラにより収集されたデータストリームを各検出モジュールに配信して検出を行うことが分かる。このような配信方式の処理により、各検出モジュールに検出作業を分担させ、検出速度を向上することができる。検出モジュールの処理が完了した後、検出結果をカメラに対応するストレージキューに送信し、カメラに対応する追跡モジュールが検出結果を抽出し、検出結果を用いて目標認識を行うことで、従来のシリアル処理方式をパイプライン非同期方式に変えることを実現し、検出と追跡の処理時間を減らすことができる。
本発明に係る実施形態では、電子デバイスと非一時的なコンピュータ可読取記録媒体をさらに提供する。
図4は、本発明の実施形態による目標検出追跡方法を実現する電子デバイスのブロック図である。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、および他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことができる。また、電子デバイスはパーソナルデジタル処理、携帯電話、スマートフォン、装着可能デバイス、およびその他の類似のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。ここで示した構成要素、それらの接続と関係、およびそれらの機能は例示的なものに過ぎず、本明細書に説明されたものおよび/または要求される本発明の実施を制限する意図がない。
図4に示すように、当該電子デバイスは、1つ又は複数のプロセッサ401と、メモリ402と、各構成要素を接続するための高速インターフェースと低速インターフェースとを含むインターフェースとを含む。各構成要素は、異なるバスを用いて互いに接続し、共通のマザーボードに取り付けられてもよいし、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子デバイス内で実行される命令を処理してもよく、また、外部入出力デバイス(例えば、インターフェースに接続された表示デバイス)にグラフィックユーザインターフェース(Graphical User Interface,GUI)を表示するための、メモリまたはメモリ上に記憶されたグラフィカル情報の命令を含む。他の実施形態では、必要に応じて、複数のプロセッサおよび/または複数のバスを複数のメモリおよび複数のメモリとともに使用することができる。同様に、複数の電子デバイスを接続してもよく、各デバイスは、部分的に必要な動作(例えば、サーバアレイ、ブレードサーバのセット、またはマルチプロセッサシステムとして)を提供する。図4においてプロセッサ401を例とする。
メモリ402は、本発明にて提供された非一時的なコンピュータ可読記憶媒体である。メモリは、本発明で提供される目標検出追跡方法を少なくとも1つのプロセッサに実行させるように、少なくとも1つのプロセッサによって実行されることができる命令を記憶する。本発明における非一時的なコンピュータ可読記憶媒体は、本発明で提供された目標検出追跡方法をコンピュータに実行させるためのコンピュータ命令を記憶する。
メモリ402は、非一時的なコンピュータ可読記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために使用されてもよく、本発明の実施形態における目標検出追跡方法に対応するプログラム命令/モジュール(たとえば、図3に示される配信モジュール301、カメラ302、検出モジュール303、追跡モジュール304及びストレージキュー305)のようなものである。プロセッサ401は、メモリ402に記憶されている非一時的なソフトウェアプログラム、命令およびモジュールを実行することにより、サーバの様々な機能アプリケーションおよびデータ処理、すなわち上述した方法に関する実施形態に係る目標検出追跡方法を実行する。
メモリ402は、オペレーティングシステムや少なくとも1つの機能に必要なアプリケーションを記憶することができるプログラムの記憶領域と、目標検出追跡方法に係る電子デバイスの使用によって生成されたデータなどを記憶することができるデータの記憶領域と、を含むことができる。さらに、メモリ402は、高速ランダムアクセスメモリを含んでもよく、非一時的な固体記憶装置を含んでもよい。例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリ装置、または他の非一時的な固体記憶装置を含むことができる。いくつかの実施形態では、メモリ402はオプションとして、プロセッサ401に対して遠隔的に設定されたメモリを含み、これらの遠隔メモリは、ネットワークを介して目標検出追跡方法に係る電子デバイスに接続されてもよい。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルネットワーク、モバイル通信ネットワークおよびその組み合わせを含むが、これらに限定されない。
目標検出追跡方法に係る電子デバイスは、入力装置403と出力装置404とをさらに含むことができる。プロセッサ401、メモリ402、入力装置403、および出力装置404は、バスまたは他の方法で接続されてもよく、図4ではバスを介して接続されている。
入力装置403は、入力された数字または文字を受信し、目標検出追跡方法に係る電子デバイスのユーザ設定および機能制御に関するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックボード、タッチパッド、指示棒、1つまたは複数のマウスボタン、トラックボール、ジョイスティックなどを含むことができる。出力装置404は、表示装置、補助照明装置(例えばLED)、および触覚フィードバック装置(例えば、振動モータ)などを含むことができる。この表示装置は、液晶ディスプレイ(Liquid Crystal Display、LCD)、発光ダイオード(Light Emitting Diode、LED)ディスプレイおよびプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。
本発明におけるシステムおよび技術に係る様々な実施形態は、デジタル電子回路システム、集積回路システム、専用集積回路(Application Specific Integrated Circuits、ASIC)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはこれらの組み合わせによって実現されることができる。これらの様々な実施形態は、1つまたは複数のコンピュータプログラムにおいて実装されてもよく、この1つまたは複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行されてもよく、および/または解釈されてもよく、このプログラマブルプロセッサは、専用または汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、および少なくとも1つの出力装置より、データと命令を受信し、記憶システム、少なくとも1つの入力装置、および少なくとも1つの出力装置に、データと命令を送信する。
これらの計算プログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードともいう)は、プログラマブルプロセッサのマシン命令を含み、プロセス指向および/またはオブジェクト指向プログラミング言語、および/またはアセンブリ/マシン言語を用いてこれらの計算プログラムを実施することができる。本発明で使用されるように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、マシン命令および/またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、および/または装置(例えば、磁気ディスク、光ディスク、メモリ、編集可能論理デバイス(programmable logic device、PLD)を意味し、機械読み取り可能な信号としてのマシン命令を受信する機械可読媒体を含む。「機械読み取り可能な信号」という用語は、マシン命令および/またはデータをプログラマブルプロセッサに提供するための任意の信号を意味する。
ユーザとのイントラクションを提供するために、本発明で説明されているシステムや技術は、コンピュータ上で実施されてもよく、また、ユーザに情報を表示するための表示装置(例えば、CRT(Cathode Ray Tube、ブラウン管)またはLCD(液晶ディスプレイ)モニタ)と、入力をコンピュータに提供するためのキーボードおよびポインティングデバイス(例えば、マウスまたはトラックボール)とを備えてもよい。他の種類の装置も、ユーザとのイントラクションを提供するために使用され得る。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であってもよく、ユーザからの入力は、いかなる形式(音響入力、音声入力、またはタッチ入力を含む)で受信されてもよい。
本発明で説明されているシステムおよび技術は、バックグラウンド構成要素を含む計算システム(例えば、データサーバとして)、または中間部構成要素を含む計算システム(例えば、アプリケーションサーバ)、または、フロントエンド構成要素を含む計算システム(例えば、グラフィカルユーザインタフェースまたはネットワークブラウザを備えたユーザコンピュータであって、ユーザがこのグラフィカルユーザインタフェースまたはネットワークブラウザを介して本発明で説明されたシステムおよび技術に係る実施形態とインタラクションを行うことができるユーザコンピュータ)に実行されてもよく、または、このようなバックグラウンド構成要素、中間部構成要素、またはフロントエンド構成要素の任意の組合せを含む計算システムにおいて実行されてもよい。システムの構成要素は、任意の形態または媒体のデジタルデータ通信(例えば、通信ネットワーク)によって相互に接続されてもよい。通信ネットワークの例えとして、ローカルネットワーク(Local Area Network,LAN)、広域ネットワーク(Wide Area Network,WAN)およびインターネットを含む。
コンピュータシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバは一般的に相互に離れており、通信ネットワークを介してインタラクションを行う。クライアントとサーバとの関係を持つコンピュータプログラムがそれぞれのコンピュータ上で実行されることによって、クライアントとサーバとの関係は構築される。
本発明の実施形態によれば、検出モジュールと追跡モジュールに一対一対応ではない配信方式を採用することにより、カメラにより収集されたデータストリームを各検出モジュールに配信して検出を行い、検出結果をカメラに対応するストレージキューに送信し、カメラに対応する追跡モジュールが検出結果を抽出して目標認識を行うことで、従来のシリアル処理方式をパイプライン非同期方式に変えることを実現し、検出と追跡の処理時間を減らすことができる。
上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、または削除することが可能であることを理解すべきである。例えば、本発明で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本発明で開示された技術案が所望する結果を実現することができる限り、本発明ではこれに限定されない。
上記具体的な実施形態は、本発明の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、および代替が可能であることを理解するべきである。本発明の要旨及び原則内における変更、均等な置換及び改善等は、いずれも本発明の保護範囲に含まれるべきである。

Claims (11)

  1. 目標検出追跡方法であって
    複数のカメラと、複数の検出モジュールと、複数の追跡モジュールと、複数のストレージキューとを予め設置し、前記カメラ、前記ストレージキュー及び前記追跡モジュールの数が同じであり、各前記カメラが1つの前記ストレージキューと1つの前記追跡モジュールとに対応することと、
    各前記カメラにより収集されたデータストリームを前記複数の検出モジュールに配信することと、
    各前記検出モジュールがそれぞれ、受信した前記データストリームに対し検出を行い、各前記カメラからの前記データストリームに対する検出結果を、前記カメラに対応する前記ストレージキューに送信することと、
    前記カメラに対応する前記追跡モジュールが、前記カメラに対応する前記ストレージキューから前記検出結果を抽出し、前記検出結果を用いて目標追跡を行うことと、を含む、
    ことを特徴とする目標検出追跡方法。
  2. 各前記カメラにより収集された前記データストリームを前記複数の検出モジュールに配信することは、
    負荷分散方式を用いて、各前記カメラにより収集された前記データストリームを前記複数の検出モジュールに配信することを含む、
    ことを特徴とする請求項1に記載の目標検出追跡方法。
  3. 前記ストレージキューは、ストレージミドルウェアを含む、
    ことを特徴とする請求項1または2に記載の目標検出追跡方法。
  4. 各前記カメラにより収集された前記データストリームを前記複数の検出モジュールに配信することは、
    前記データストリームに前記カメラの標識を付加し、前記カメラの標識を含む前記データストリームを前記複数の検出モジュールに配信することを含み、
    各前記カメラからの前記データストリームに対する検出結果を前記カメラに対応する前記ストレージキューに送信することは、前記データストリームに含まれる前記カメラの標識に基づいて、対応する前記カメラを特定し、各前記カメラからの前記データストリームに対する検出結果を、特定された前記カメラに対応する前記ストレージキューにそれぞれ送信することを含む、
    ことを特徴とする請求項1または2に記載の目標検出追跡方法。
  5. 配信モジュールと、複数のカメラと、複数の検出モジュールと、複数の追跡モジュールと、複数のストレージキューと、を備え、前記カメラ、前記ストレージキュー及び前記追跡モジュールの数が同じであり、各前記カメラが1つの前記ストレージキューと1つの前記追跡モジュールとに対応する、目標検出追跡装置であって、
    前記カメラは、データストリームを収集し、
    前記配信モジュールは、各前記カメラにより収集された前記データストリームを前記複数の検出モジュールに配信し、
    前記検出モジュールは、受信した前記データストリームに対し検出を行い、各前記カメラからの前記データストリームに対する検出結果をそれぞれ、前記カメラに対応する前記ストレージキューに送信し、
    前記ストレージキューは、対応する前記カメラからの前記データストリームに対する検出結果を記憶し、
    前記追跡モジュールは、前記カメラに対応する前記ストレージキューから前記検出結果を抽出し、前記検出結果を用いて目標追跡を行う、
    ことを特徴とする目標検出追跡装置。
  6. 前記配信モジュールは、負荷分散方式を用いて各前記カメラにより収集された前記データストリームを前記複数の検出モジュールに配信する、
    ことを特徴とする請求項5に記載の目標検出追跡装置。
  7. 前記ストレージキューは、ストレージミドルウェアを含む、
    ことを特徴とする請求項5または6に記載の目標検出追跡装置。
  8. 前記配信モジュールは、前記データストリームに前記カメラの標識を付加し、前記カメラの標識を含む前記データストリームを、前記複数の検出モジュールに配信し、
    前記検出モジュールは、前記データストリームに含まれる前記カメラの標識に基づいて、対応する前記カメラを特定し、各前記カメラからの前記データストリームに対する検出結果をそれぞれ、特定された前記カメラに対応する前記ストレージキューに送信する、
    ことを特徴とする請求項5または6に記載の目標検出追跡装置。
  9. 1つ又は複数のプロセッサと、
    前記1つ又は複数のプロセッサと通信可能に接続されるメモリと、を含み、
    前記メモリには、前記1つ又は複数のプロセッサにより実行可能なコマンドを記憶しており、
    前記1つ又は複数のプロセッサが、前記1つ又は複数のコマンドを実行する場合、請求項1〜4のいずれか1項に記載の目標検出追跡方法を実行させる、
    ことを特徴とする電子デバイス。
  10. 請求項1〜4のいずれか1項に記載の目標検出追跡方法をコンピュータに実行させるためのコンピュータコマンドを記憶した非一時的なコンピュータ可読記憶媒体。
  11. コンピュータにおいて、プロセッサにより実行される場合、請求項1〜4のいずれか1項に記載の目標検出追跡方法を実現することを特徴とするプログラム。
JP2020105772A 2019-10-25 2020-06-19 目標検出追跡方法、装置、電子デバイス、記憶媒体、及びプログラム Active JP6921277B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911025501.4A CN110781824B (zh) 2019-10-25 2019-10-25 目标检测及跟踪方法、装置、电子设备及存储介质
CN201911025501.4 2019-10-25

Publications (2)

Publication Number Publication Date
JP2021068418A true JP2021068418A (ja) 2021-04-30
JP6921277B2 JP6921277B2 (ja) 2021-08-18

Family

ID=69386779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020105772A Active JP6921277B2 (ja) 2019-10-25 2020-06-19 目標検出追跡方法、装置、電子デバイス、記憶媒体、及びプログラム

Country Status (4)

Country Link
US (1) US11361453B2 (ja)
EP (1) EP3812958B1 (ja)
JP (1) JP6921277B2 (ja)
CN (1) CN110781824B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275983B (zh) * 2020-02-14 2022-11-01 阿波罗智联(北京)科技有限公司 车辆追踪方法、装置、电子设备和计算机可读存储介质
CN111339852B (zh) * 2020-02-14 2023-12-26 阿波罗智联(北京)科技有限公司 追踪方法、装置、电子设备和计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175485A (ja) * 1997-12-16 1999-07-02 Toshiba Corp 分散システムおよび並列演算制御方法
JP2002318790A (ja) * 2001-04-19 2002-10-31 Nec Corp 分散オブジェクト環境に適用される通信システムおよび通信プログラム
JP2004280348A (ja) * 2003-03-14 2004-10-07 Natl Inst For Land & Infrastructure Management Mlit 道路状況把握装置
JP2012103879A (ja) * 2010-11-10 2012-05-31 Hitachi Ltd セッション管理方法、セッション管理システム及びプログラム
JP2013206140A (ja) * 2012-03-28 2013-10-07 Secom Co Ltd 移動物体追跡装置
US20140140572A1 (en) * 2012-11-21 2014-05-22 Abhishek Ranjan Parallel face detection and tracking system
JP2015064778A (ja) * 2013-09-25 2015-04-09 住友電気工業株式会社 検出対象識別装置、変換装置、監視システム、及びコンピュータプログラム
JP2015114917A (ja) * 2013-12-12 2015-06-22 セコム株式会社 人物検出装置
JP2016071830A (ja) * 2014-09-26 2016-05-09 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2408193A3 (en) * 2004-04-16 2014-01-15 James A. Aman Visible and non-visible light sensing camera for videoing and object tracking
GB2418310B (en) * 2004-09-18 2007-06-27 Hewlett Packard Development Co Visual sensing for large-scale tracking
TWI405457B (zh) * 2008-12-18 2013-08-11 Ind Tech Res Inst 應用攝影機換手技術之多目標追蹤系統及其方法,與其智慧節點
US9251598B2 (en) * 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring
WO2017038541A1 (ja) * 2015-09-03 2017-03-09 ソニー株式会社 映像処理装置、映像処理方法、及び、プログラム
WO2017134706A1 (ja) * 2016-02-03 2017-08-10 パナソニックIpマネジメント株式会社 映像表示方法及び映像表示装置
US10284755B2 (en) * 2016-03-16 2019-05-07 Auglle, Llc Nodal monitoring device and system
WO2019003688A1 (ja) * 2017-06-30 2019-01-03 パナソニックIpマネジメント株式会社 投影指示装置、荷物仕分けシステムおよび投影指示方法
US10127438B1 (en) * 2017-08-07 2018-11-13 Standard Cognition, Corp Predicting inventory events using semantic diffing
JP6907079B2 (ja) * 2017-09-14 2021-07-21 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
CN109559330B (zh) 2017-09-25 2021-09-10 北京金山云网络技术有限公司 运动目标的视觉跟踪方法、装置、电子设备及存储介质
US10816693B2 (en) * 2017-11-21 2020-10-27 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in a field of interest
EP3506201A1 (fr) * 2017-12-26 2019-07-03 Bull Sas Système et procédé adaptatifs de suivi automatique d au moins une cible dans au moins un flux vidéo
US11501572B2 (en) * 2018-03-26 2022-11-15 Nvidia Corporation Object behavior anomaly detection using neural networks
US11017539B2 (en) * 2018-04-30 2021-05-25 Intel Corporation Object tracking and identification using intelligent camera orchestration
TWI779029B (zh) * 2018-05-04 2022-10-01 大猩猩科技股份有限公司 一種分佈式的物件追蹤系統
US10783647B2 (en) * 2018-05-24 2020-09-22 Cisco Technology, Inc. Real-time object tracking
CN108985162B (zh) 2018-06-11 2023-04-18 平安科技(深圳)有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN109447121B (zh) * 2018-09-27 2020-11-06 清华大学 一种视觉传感器网络多目标跟踪方法、装置及系统
US10878585B1 (en) * 2019-10-25 2020-12-29 7-Eleven, Inc. Sensor array for scalable position tracking system
US11393213B2 (en) * 2018-12-05 2022-07-19 AiFi Inc. Tracking persons in an automated-checkout store

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175485A (ja) * 1997-12-16 1999-07-02 Toshiba Corp 分散システムおよび並列演算制御方法
JP2002318790A (ja) * 2001-04-19 2002-10-31 Nec Corp 分散オブジェクト環境に適用される通信システムおよび通信プログラム
JP2004280348A (ja) * 2003-03-14 2004-10-07 Natl Inst For Land & Infrastructure Management Mlit 道路状況把握装置
JP2012103879A (ja) * 2010-11-10 2012-05-31 Hitachi Ltd セッション管理方法、セッション管理システム及びプログラム
JP2013206140A (ja) * 2012-03-28 2013-10-07 Secom Co Ltd 移動物体追跡装置
US20140140572A1 (en) * 2012-11-21 2014-05-22 Abhishek Ranjan Parallel face detection and tracking system
JP2015064778A (ja) * 2013-09-25 2015-04-09 住友電気工業株式会社 検出対象識別装置、変換装置、監視システム、及びコンピュータプログラム
JP2015114917A (ja) * 2013-12-12 2015-06-22 セコム株式会社 人物検出装置
JP2016071830A (ja) * 2014-09-26 2016-05-09 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP6921277B2 (ja) 2021-08-18
CN110781824A (zh) 2020-02-11
US11361453B2 (en) 2022-06-14
EP3812958B1 (en) 2022-12-14
US20210125353A1 (en) 2021-04-29
CN110781824B (zh) 2023-03-14
EP3812958A1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
EP3916630A1 (en) Method and apparatus for identifying video
JP6921277B2 (ja) 目標検出追跡方法、装置、電子デバイス、記憶媒体、及びプログラム
US11175823B2 (en) Method and apparatus for controlling terminal device using gesture control function, and non-transitory computer-readable storage medium
CN111694646A (zh) 资源调度方法、装置、电子设备及计算机可读存储介质
CN111586128A (zh) 小程序数据的获取方法、装置、设备以及存储介质
CN111897694A (zh) 小程序中消息处理方法及装置、设备、存储介质
KR20220043818A (ko) 서비스 정보 처리 방법, 장치, 기기, 컴퓨터 저장 매체 및 프로그램
CN111913884A (zh) 分布式测试方法、装置、设备、系统和可读存储介质
CN110765075A (zh) 自动驾驶数据的存储方法和设备
US10802879B2 (en) Method and device for dynamically assigning task and providing resources and system thereof
CN111881387A (zh) 用于小程序的数据处理方法、装置、设备和介质
KR20220168187A (ko) 명령 송신 방법, 장치, 전자 기기 및 저장 매체
JP2021128753A (ja) 目標検出方法、装置、電子デバイス、記憶媒体、及びプログラム
CN111966471B (zh) 访问方法、装置、电子设备及计算机存储介质
CN110809041A (zh) 一种数据同步方法、装置、电子设备及存储介质
CN113163257B (zh) 投屏方法、装置、设备及存储介质
JP7266556B2 (ja) Arナビゲーションの表示方法、装置、電子機器及び記憶媒体
CN112446728B (zh) 广告召回方法、装置、设备及存储介质
CN112346512A (zh) 时间同步方法和装置
CN111967492A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
CN111857488B (zh) 小程序中菜单弹出的方法、装置、电子设备和存储介质
CN111857887B (zh) 数据采集方法、装置、电子设备和可读存储介质
CN110531952B (zh) 语音技能的处理方法、装置及设备
CN114222167B (zh) 云投屏控制方法、装置、服务器、系统和可读存储介质
CN111142820B (zh) 一种基于多屏的远程控制方法、装置、及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210727

R150 Certificate of patent or registration of utility model

Ref document number: 6921277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350