JP2017212581A - 追尾装置、追尾方法及びプログラム - Google Patents

追尾装置、追尾方法及びプログラム Download PDF

Info

Publication number
JP2017212581A
JP2017212581A JP2016104297A JP2016104297A JP2017212581A JP 2017212581 A JP2017212581 A JP 2017212581A JP 2016104297 A JP2016104297 A JP 2016104297A JP 2016104297 A JP2016104297 A JP 2016104297A JP 2017212581 A JP2017212581 A JP 2017212581A
Authority
JP
Japan
Prior art keywords
object region
tracking
area
region
tracking device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016104297A
Other languages
English (en)
Other versions
JP6755713B2 (ja
Inventor
康夫 馬塲
Yasuo Baba
康夫 馬塲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016104297A priority Critical patent/JP6755713B2/ja
Priority to US15/596,815 priority patent/US10438360B2/en
Priority to GB1708077.1A priority patent/GB2553178B/en
Priority to CN201710369007.4A priority patent/CN107438173B/zh
Priority to DE102017111203.0A priority patent/DE102017111203B4/de
Priority to KR1020170063259A priority patent/KR102213328B1/ko
Publication of JP2017212581A publication Critical patent/JP2017212581A/ja
Application granted granted Critical
Publication of JP6755713B2 publication Critical patent/JP6755713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】画像中の複数の物体を適切に関連付けることを目的とする。
【解決手段】時系列に沿って得られた複数の画像において、所定の物体領域を追尾する追尾装置であって、判定期間における、追尾対象として指定された領域である第１の物体領域の追尾の結果得られる第１の物体領域の位置と、第２の物体領域の追尾の結果得られる第２の物体領域の位置との関係に従い、第２の物体領域を第１の物体領域に関連付けるか否かを判定する判定手段と、判定手段により関連付けると判定された第２の物体領域を第１の物体領域に関連付ける関連付手段とを有する。
【選択図】図３

Description

本発明は、画像において対象を追尾する追尾装置、追尾方法及びプログラムに関する。
従来、監視カメラ等の撮像画像において、所定の物体を追尾する技術が知られている。さらに、追尾対象となる対象物体と、対象物体に関連する関連物体とを対応付けて管理し、関連物体の追尾結果を用いることで対象物体の追尾を行う技術も知られている。これにより、対象物体の追尾精度を向上させることができる。特許文献１には、移動物体の領域と特定物体の領域の重畳する部分の面積に基づいて、移動物体と特定物体とが対応するかを判断し、対応すると判断した場合に、移動物体と特定物体の関連付けを行う技術が開示されている。
特開２０１２−１０３７５２号公報
しかしながら、対象物体と関連物体の関係性は、両物体の画像領域が重なるというものに限られるものではなく、例えば、対象物体がある人物の下半身の一部である場合に、同一人物の頭部を対応する特定物体として関連付けることも可能である。このように、多様な関係性を有する画像同士を適切に関連付ける技術が望まれている。
本発明はこのような問題点に鑑みなされたもので、画像中の複数の物体を適切に関連付けることを目的とする。
そこで、本発明は、時系列に沿って得られた複数の画像において、所定の物体領域を追尾する追尾装置であって、判定期間における、追尾対象として指定された領域である第１の物体領域の追尾の結果得られる第１の物体領域の位置と、第２の物体領域の追尾の結果得られる第２の物体領域の位置との関係に従い、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定する判定手段と、前記判定手段により関連付けると判定された前記第２の物体領域を前記第１の物体領域に関連付ける関連付手段とを有することを特徴とする。
本発明によれば、画像中の複数の物体を適切に関連付けることができる。
追尾システムの全体図である。 カメラのハードウェア構成を示す図である。 カメラのソフトウェア構成を示す図である。 カメラによる追尾処理を示すフローチャートである。 追尾処理の説明図である。
以下、本発明の実施形態について図面に基づいて説明する。
図１は、本実施形態に係る追尾システム１００の全体図である。本実施形態においては、追尾システム１００が人物を追尾する場合を例に説明するが、追尾対象は人物に限定されるものではなく、車や自転車、バイク等であってもよい。追尾システム１００は、カメラ１０１と、録画装置１０２と、表示装置１０３と、入力装置１０４とを有している。カメラ１０１、録画装置１０２及び表示装置１０３は、ネットワーク１０５経由で接続される。入力装置１０４は、表示装置１０３に接続される。カメラ１０１は、ＰＴＺカメラと呼ばれるパン・チルト・ズームを調節可能なカメラである。カメラ１０１は、追尾対象となる対象物体が常に撮像されるよう、自動でパン・チルト・ズームを制御する。ここでパンとはカメラ１０１の向きを左右に振ること、チルトとはカメラ１０１の向きを上下に振ること、ズームとは画角を望遠又は広角に変化させることを意味する。
カメラ１０１は、録画装置１０２や表示装置１０３からの要求に応じて、映像を送信する。録画装置１０２は、カメラ１０１から取得した映像を不図示の記録媒体に保存する。表示装置１０３は、カメラ１０１から得た映像や、録画装置１０２に保存された映像を読み出して表示したり、入力装置１０４を通じてユーザからの要求を受け取り、カメラ１０１へ要求を送信したりする。
図２は、カメラ１０１のハードウェア構成を示す図である。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、後述するカメラ１０１の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。撮像部２０４は、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子と、雲台とを有し、パン、チルト、ズームを変化させて映像（画像）を撮像する。表示部２０５は、各種情報を表示する。入力部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部２０７は、ＨＴＴＰやＴＣＰ／ＩＰ等の通信方式に基づき、ネットワーク１０５を介して外部装置との通信処理を行う。
図３は、カメラ１０１のソフトウェア構成を示す図である。映像取得部３０１は、撮像部２０４から撮像データを取得する。ここで撮像データとは、撮像部２０４により撮像された映像と、その映像の撮像時の撮像部２０４の姿勢情報（パン値、チルト値、ズーム値）を含むデータである。符号化部３０２は、映像取得部３０１から撮像データを受け取り、映像を適当な符号化方式で符号化する。ここで符号化方式としてはＪＰＥＧやＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の方式がある。符号化された映像は、通信処理部３０３により、通信部２０７を経由して外部に送信される。通信処理部３０３は、外部装置との間でデータの送受信を行う。通信処理部３０３は例えば、入力装置１０４においてユーザから入力された情報を、通信部２０７を介して受信する。
検出部３０４は、映像取得部３０１が取得した撮像データに含まれる映像を受け取る。そして、検出部３０４は、既知のパターン認識や機械学習の各種手法を利用し、映像に含まれる各フレーム画像から特定物体の領域を検出する。ここで、特定物体とは、顔や人体の全体又はその一部等予め定められた物体である。本実施形態においては、人の顔が特定物体として予め定められているものとする。また、追尾対象が自動車である場合には、特定物体は、車のナンバープレート等であってもよい。
カメラ１０１のＲＡＭ２０３等にこの特定物体を検出するために必要な、特定物体の物体種別に固有の特徴を示す情報が予め記憶されているものとする。検出部３０４は、例えば、画像の大きさを変更しながら照合パターンを画像全域に用いて複数の局所パターンを抽出し、それぞれの局所特徴量を算出する。そして、検出部３０４は、局所特徴量に重み付けを行った結果の総和から特定物体であるかを判定する。本処理については、特開２００９−２１１３１１号公報を参照することができる。
特定物体追尾部３０５は、特定物体の領域の追尾を行う。具体的には、特定物体追尾部３０５は、映像において時間的に連続する複数のフレーム画像それぞれにおいて検出された特定物体の領域の対応付けを行う。対応付け処理は、各フレーム画像の特定物体の領域の検出結果のうち、同一の特定物体に対応する検出結果同士をペアリングするマッチング問題として定式化できる。特定物体追尾部３０５は、まず、複数のフレーム画像の特定物体間の類似度を、特定物体を表す図形の位置やサイズ、特定物体から抽出された特徴量など任意の値を使って定義する。次に、特定物体追尾部３０５は、最も類似度の高い検出結果の組から順番にペアを作る方法や、全体の類似度の和が最大になるようペアを作る全体最適化方法を用いて、検出結果のマッチングを決定することができる。そして、特定物体追尾部３０５は、対応付けされた特定物体の領域に対し、同一のＩＤを付与する。
決定部３０６は、映像取得部３０１が取得した撮像データに含まれる映像を受け取る。そして、決定部３０６は、映像中の移動物体を追尾対象として決定する。以下、追尾対象の移動物体を対象物体と称する。対象物体追尾部３０７は、対象物体の領域の位置と対象物体の領域に関連付けられた特定物体の領域の位置に基づいて、対象物体の領域の追尾を行う。関連付部３０８は、決定部３０６により決定された対象物体の領域と、検出部３０４により検出された特定物体の領域との関連付けを行う。決定部３０６、対象物体追尾部３０７及び関連付部３０８の処理の詳細については後述する。制御部３０９は、カメラ１０１のパンモータ、チルトモータ、ズームモータの制御命令を生成、発行する。
図４は、カメラ１０１による追尾処理を示すフローチャートである。例えば、入力装置１０４へのユーザ入力に応じて、カメラ１０１に送信されたＰＴＺ追尾開始要求を通信処理部３０３が受信すると、カメラ１０１のＣＰＵ２０１は、ＰＴＺ追尾モードを開始する。追尾処理は、ＰＴＺ追尾モードにおけるカメラ１０１の処理である。図５は、追尾処理の説明図である。図５（ａ）〜（ｄ）に示す各フレーム画像５００、５１０、５２０、５３０は、映像に含まれる連続するフレーム画像である。フレーム画像５００、５１０、５２０、５３０の配列順は、撮像順に対応する。すなわち、フレーム画像５００、５１０、５２０、５３０は、時系列に沿って得られた複数の画像の一例である。なお、図５（ａ）〜（ｄ）の各フレーム画像の右に示す座標については後述する。
図４のＳ４００において、映像取得部３０１は、撮像部２０４により撮像されたフレーム画像（入力画像）を１枚取得する。Ｓ４００において取得したフレーム画像が、Ｓ４０１以降の処理の処理対象となる。以下、処理対象のフレーム画像を対象フレーム画像と称する。なお、追尾処理は、ループ処理である。例えば、図５に示す４枚のフレーム画像を含む映像を処理対象とする場合には、映像取得部３０１は、１回目のＳ４０１の実行時にフレーム画像５００を取得し、２回目のＳ４０１の実行時にはフレーム画像５１０を取得する。このように、映像における配列順（撮像順）に、フレーム画像を１枚ずつ取得する。
次に、Ｓ４０１において、検出部３０４は、既知のパターン認識や機械学習の各種手法を利用し、対象フレーム画像から特定物体の領域を検出する。なお、本実施形態においては、検出部３０４は、人の頭部を特定物体として、特定物体の領域を検出するものとする。図５の例においては、図５（ａ）のフレーム画像５００には特定物体は存在しないため、特定物体の領域は検出されない。図５（ｂ）のフレーム画像５１０からは、特定物体の領域５１２、５１３が検出される。図５（ｃ）のフレーム画像５２０からは、特定物体の領域５２２、５２３が検出される。図５（ｄ）のフレーム画像５３０からは、特定物体の領域５３２、５３３が検出される。
次に、Ｓ４０２において、特定物体追尾部３０５は、時間的に連続するフレーム画像間において、対応する特定物体の領域同士の対応付け処理を行う。例えば、図５の例において、図５（ｂ）のフレーム画像５１０が対象フレーム画像であるとする。この場合、直前のフレーム画像５００に、特定物体の領域５１２、５１３に対応する特定物体の領域が存在しないため、特定物体追尾部３０５は、各特定物体の領域５１２、５１３に新規の特定物体ＩＤを割り当てる。図５（ｂ）の例では、特定物体の領域５１２には、特定物体ＩＤ「１」が付与され、特定物体の領域５１３には、特定物体ＩＤ「２」が付与される。
また、図５（ｃ）のフレーム画像５２０が対象フレーム画像であるとする。この場合、直前のフレーム画像５１０に特定物体の領域５２２、５２３が存在している。このため、フレーム画像５２０の特定物体の領域５２２、５２３に対し、それぞれに対応するフレーム画像５１０の特定物体の領域５１２、５１３の特定物体ＩＤと同じ特定物体ＩＤ、すなわち「１」、「２」を割り当てる。このように、同一の特定物体に係る領域に同じ特定物体ＩＤを割り当てることにより、特定物体の領域同士を対応付けることができる。同様に、図５（ｄ）の特定物体の領域５３２、５３３には、それぞれ特定物体ＩＤ「１」、「２」が割り当てられる。
図４に戻り、Ｓ４０２の処理の後、ＣＰＵ２０１は、処理をＳ４０３へ進める。Ｓ４０３において、ＣＰＵ２０１は、追尾対象となる移動物体が既に決定されているか否かを確認する。ＣＰＵ２０１は、追尾対象が決定済みの場合には（Ｓ４０３でｙｅｓ）、処理をＳ４０６へ進める。ＣＰＵ２０１は、追尾対象が決定されていない場合には（Ｓ４０３でｎｏ）、処理をＳ４０４へ進める。例えば、ＰＴＺ追尾モードが開始した直後はまだ追尾対象が決定していないため、処理はＳ４０４へ進むことになる。
Ｓ４０４において、決定部３０６は、対象フレーム画像に、追尾対象の移動物体が存在するか否かを確認する。決定部３０６は、対象フレーム画像に追尾対象の移動物体が存在した場合には（Ｓ４０４でｙｅｓ）、処理をＳ４０５へ進める。Ｓ４０５において、決定部３０６は、追尾対象の移動物体の領域を、対象物体の領域として決定する。具体的には、決定部３０６は、自動的に移動物体を検出する。決定部３０６は、例えばフレーム間差分と呼ばれる、時間的に隣り合うフレーム画像の差を取る手法を用いることで、動き領域を検出する。そして、決定部３０６は、多くの動き領域を含む矩形領域を対象物体の領域として検出する。図５の例では、図５（ａ）に示すように、人物の足が最初にフレーム画像に現れるため、人物の足を含む矩形領域５０１が、対象物体の領域として決定されている。決定部３０６は、対象フレーム画像に追尾対象の移動物体が存在しなかった場合には（Ｓ４０４でｎｏ）、処理をＳ４１２へ進める。
他の例としては、決定部３０６は、ユーザが入力装置１０４を通じて、明示的に移動物体を指定した場合に、追尾すべき移動物体が存在すると判断してもよい。ユーザが追尾したいと考える物体の近くで、入力装置１０４の一例であるマウスをクリックすると、決定部３０６は、クリックに係る情報を、通信処理部３０３を介して取得する。この場合、決定部３０６は、追尾すべき移動物体が存在すると判断する。そして、決定部３０６は、この情報に基づいて、例えばクリックされた座標を中心とした一定のサイズの矩形領域を対象物体の領域として決定する。
また、Ｓ４０６において、ＣＰＵ２０１は、対象物体の領域に対し特定物体の領域が関連付けられているか否かを確認する。ＣＰＵ２０１は、対象物体の領域と特定物体の領域とを関連付ける情報が存在する場合には（Ｓ４０６でｙｅｓ）、処理をＳ４０９へ進める。ＣＰＵ２０１は、対象物体の領域と特定物体の領域とを関連付ける情報が存在しない場合には（Ｓ４０６でｎｏ）、処理をＳ４０７へ進める。
Ｓ４０７において、対象物体追尾部３０７は、対象フレーム画像において、対象物体の領域の追尾を行う。具体的には対象フレーム画像の前のフレーム画像までの処理において決定済みの対象物体の領域を対象フレーム画像において検出し、検出位置を特定する。対象物体追尾部３０７は、対象物体の領域の検出には、例えばテンプレートマッチングやミーンシフトなど、任意の追尾手法を利用してよい。例えば、図５の例においては、図５（ａ）のフレーム画像５００において対象物体の領域５０１に対する追尾処理により図５（ｂ）のフレーム画像５１０において領域５１１が対象物体の領域として検出され、この位置が特定される。同様に、図５（ｃ）のフレーム画像５２０においては領域５２１、図５（ｄ）のフレーム画像５３０においては領域５３１が、それぞれ対象物体の領域として検出され、これらの位置が特定される。
次に、Ｓ４０８において、関連付部３０８は、対象物体の領域に新たに関連付ける特定物体の領域が存在するか否かを判定する。関連付部３０８はこのとき、対象物体の追尾処理の結果得られた対象物体の位置と、特定物体の追尾処理の結果得られた、特定物体の位置と、を参照する。以下、Ｓ４０８における処理について図５を参照しつつ説明する。図５(ａ)〜（ｄ）のフレーム画像５１０〜５３０の右に記載された座標系は、対象物体の中心を原点とする直交座標系である。これらの直交座標系において、フレーム画像の横方向をｘ軸（右向きを正）、縦方向をｙ軸（上方向を正）とし、対象物体の領域の中心を原点としている。これらの直交座標系によって、特定物体の領域の相対位置を数値化することができる。ここで、対象物体の領域の縦幅及び横幅のうち、大きな方を長さ１．０と定めることとする。また、図中、各座標系において、特定物体の領域に相当する枠５１２、５１３、５２２、５２３、５３２、５３３内に示される数字は、特定物体ＩＤである。
関連付部３０８は、対象物体の領域と特定物体の領域との位置関係に係る関連付条件に従い、特定物体の領域を対象物体の領域に関連付けるか否かを判定する。なお、関連付条件は、予めＲＡＭ２０３等の記憶部に設定されているものとする。本実施形態においては、関連付条件は、以下の２つの条件を含むものとし、関連付部３０８は、特定物体の領域が２つの条件の両方を満たす場合に、この特定物体の領域を対象物体の領域に関連付けると判定する。
１つ目の条件は、対象物体の領域と特定物体の領域との距離が距離閾値未満の状態が判定期間の間、継続することである。２つ目の条件は、判定期間における、対象物体の領域の位置を基準とした特定物体の領域の相対位置の変化量の最大値（以下、最大位置変化量）が変化量閾値未満であることである。ここで、判定期間は、フレーム数で定められていてもよく、また、経過時間で定められていてもよい。また、判定期間は、連続するある期間でもよいし、連続するある期間のうちのある所定の割合を占める期間でもよい。例えば、「連続する５フレーム」や「連続する５フレームのうち４フレーム以上」を判定期間とできる。以下では、連続する３フレームを判定期間として説明する。
１つ目の条件についてさらに説明する。対象物体の領域と特定物体の領域との距離は、例えばそれぞれの中心座標のユークリッド距離で定義できる。例えば、この距離が一定以下、例えば２．５以下の特定物体の領域のみ、１つ目の条件を満たす特定物体の領域とする。特定物体の領域５１２、５１３、５２２、５２３、５３２、５３３のいずれも対象物体の領域との距離が２．５以下であるとする。この場合には、すべての特定物体の領域５１２、５１３、５２２、５２３、５３２、５３３が、１つ目の条件を満たす。
２つ目の条件についてさらに説明する。対象物体の領域の位置を基準とした特定物体の領域の相対位置は、特定物体の領域の中心点の、先述した直交座標におけるｘ、ｙ座標により定義される。特定物体ＩＤ「１」の特定物体５１２、５２２、５３２のｘ、ｙ座標が、それぞれ（−０．１，１．２）、（−０．１，１．３）、（０，１．１）であるとする。また、特定物体ＩＤ「２」の特定物体の領域５１３、５２３、５３３のｘ、ｙ座標が、それぞれ（１．８，１．６）、（１．０，０．８）、（０．４，−０．４）であるとする。この場合、最大位置変化量は、例えば、判定期間に出現する、同一の特定物体ＩＤの特定物体の領域のうちの２つの間のユークリッド距離の最大値として定義できる。
例えば、図５（ｂ）、（ｃ）、（ｄ）のフレーム画像５１０、５２０、５３０における特定物体ＩＤ「１」の特定物体の領域の最大位置変化量は、特定物体の領域５２２と特定物体の領域５３２との間のユークリッド距離０．２２となる。同様に、図５の（ｂ）、（ｃ）、（ｄ）のフレーム画像５１０、５２０、５３０における特定物体ＩＤ「２」の特定物体の領域の最大位置変化量は、特定物体の領域５１３と特定物体の領域５３３との間のユークリッド距離１．８４となる。例えば最大位置変化量が０．７以下の特定物体の領域のみ、２つ目の条件を満たすとすると、特定物体ＩＤ「１」の特定物体の領域は２つ目の条件を満たすが、特定物体ＩＤ「２」の特定物体の領域は２つ目の条件を満たさない。
以上のことから、図５（ｄ）のフレーム画像５３０が対象フレーム画像に設定されている場合には、特定物体ＩＤ「１」の特定物体の領域５３２が対象物体の領域に関連付くと判定される。一方で、特定物体ＩＤ「２」の特定物体の領域５３３は対象物体の領域に関連付けられないと判定される。
このように、関連付部３０８は、対象物体の領域と、特定物体の領域と、の位置の関係に係る条件を参照することにより、対象物体の領域と特定物体の領域との関連付けを適切に行うことができる。また、関連付部３０８は、必ずしも特定物体の領域と対象物体の領域とが重畳していなかったとしても、特定物体の領域を対象物体の領域に関連付けるか否かを適切に判定することができる。なお、Ｓ４０８の処理は、特定物体の物体領域を対象物体の物体領域に関連付けるか否かを決定する決定処理の一例である。
図４に戻り、Ｓ４０８において、関連付部３０８は、対象物体の領域に新たに関連付ける特定物体の領域が存在すると判定した場合には（Ｓ４０８でｙｅｓ）、処理をＳ４０９へ進める。関連付部３０８は、新たに関連付ける特定物体の領域が存在しないと判定した場合には（Ｓ４０８でｎｏ）、処理をＳ４１２へ進める。
Ｓ４０９において、関連付部３０８は、Ｓ４０８において関連付けると判定された特定物体の領域を対象物体の領域に関連付ける。関連付部３０８は、例えば、対象物体の領域と、特定物体の領域の特定物体ＩＤとを対応付けた関連付け情報を生成し、これをＲＡＭ２０３等に格納する。図５（ｄ）のフレーム画像５０３においては、対象物体の領域５３１と、特定物体ＩＤ「１」の特定物体の領域５３２とが関連付けられる。以下、対象物体の領域に関連付けられた特定物体の領域を関連物体の領域と称する。
また、Ｓ４１０においては、対象物体追尾部３０７は、対象物体の領域の位置及び関連物体の領域の位置に基づいて、対象物体の領域の追尾を行う。なお、追尾処理には、任意の方法を用いることができる。１つ目の方法は、関連物体の領域の位置に基づいて、対象物体の領域を追尾する方法である。対象物体追尾部３０７は、Ｓ４０２における追尾結果に基づいて、関連物体と同じ特定物体ＩＤの特定物体の領域を特定し、関連物体の領域の位置を更新する。そして、対象物体追尾部３０７は、対象物体の領域と関連物体の領域の関連付けを行ったときの対象物体の領域と関連物体の領域との位置関係は不変と仮定することで、対象物体の領域の位置を、関連物体の領域の位置から求めることができる。
２つ目の方法は、対象物体の領域の位置及び関連物体の領域の位置の両方に基づいて、対象物体の領域を追尾する方法である。ここで、対象物体追尾部３０７は、Ｓ４０７の処理と同様の処理で対象物体の領域の追尾を行う。対象物体追尾部３０７はまた、１つ目の方法で述べた方法と同様の処理で、関連物体の領域の追尾を行う。そして、対象物体追尾部３０７は、２つの追尾結果を統合することで、対象物体の領域の位置を決定する。対象物体追尾部３０７は、具体的には、それぞれの追尾結果のうち、追尾の自信度が高い方の結果を採用することで対象物体の領域の位置を決定してもよいし、それぞれの追尾結果で求めた対象物体の位置の中間値をとって対象物体の位置としてもよい。ここで追尾の自信度は、追尾の成功確率を表すスコアを意味する。
なお、対象物体追尾部３０７は、Ｓ４１０において算出された追尾の信頼度が閾値以下の場合には、追尾対象を未決定の状態に戻す。なお、Ｓ４０７においても、対象物体追尾部３０７は、同様に、追尾の信頼度を算出し、算出された追尾の信頼度が閾値以下の場合には、追尾対象を未決定の状態に戻す。
次に、Ｓ４１１において、関連付部３０８は、対象物体の領域と特定物体の領域との関連付けの情報を更新する。例えば、複数のフレーム画像において、関連物体の領域が連続して消失した場合には、関連付部３０８は、対象物体の領域と関連物体の領域としての特定物体の領域との関連付けを解消する。具体的には、関連付部３０８は、関連付け情報において、対象物体の領域に対応付けられている関連物体の領域としての特定物体の領域の特定物体ＩＤを削除する。
次に、Ｓ４１２において、制御部３０９は、Ｓ４０７又はＳ４１１において特定した対象物体の領域の位置に基づいて、対象物体が画像の中心付近に表示され続けるように、カメラ１０１のパン、チルト及びズームを制御する。具体的には、制御部３０９は、パンモータ、チルトモータ及びズームモータそれぞれの制御命令を生成し、これを撮像部２０４に送る。
さらに、関連物体の領域が存在する場合には、Ｓ４１２において、制御部３０９は、関連物体の領域の位置に基づいて、対象物体が画像の中心付近に表示され続けるように、カメラ１０１のパン、チルト及びズームを制御してもよい。なお、本実施形態においては、制御部３０９は、パン、チルト及びズームのすべてを制御することとしたが、制御部３０９は、パン、チルト及びズームのうち少なくとも１つを制御対象とすればよい。本処理は、関連物体としての物体領域の位置に基づいて、撮像方向及び撮像画角のうち少なくとも一方を制御する制御処理の一例である。
また、他の例としては、関連物体の領域が存在する場合には、関連物体の領域の位置及び大きさに基づいて、対象物体の領域の位置及び大きさを推定することができる。そこで、制御部３０９は、この推定結果に基づいて、例えば、対象物体が画像において一定の大きさで写るように、カメラ１０１のズームを制御してもよい。
次に、Ｓ４１３において、ＣＰＵ２０１は、入力装置１０４へのユーザ入力に応じて、送信されたＰＴＺ追尾開始要求を通信処理部３０３が受信したか否かを確認する。ＣＰＵ２０１は、ＰＴＺ追尾開始要求を受信した場合には（Ｓ４１３でｙｅｓ）、追尾処理を終了する。ＣＰＵ２０１は、ＰＴＺ追尾開始要求を受信しなかった場合には（Ｓ４１３でｎｏ）、処理をＳ４００へ進める。
以上のように、本実施形態に係る追尾システムにおいては、対象物体の領域に対し適切な物体の領域を自動的に関連付けることができる。また、画像において対象物体の領域に重畳していない物体の領域についても、対象物体の領域に関連付けることができる。また、画像上に対象物体の領域に関連付け得る複数の特定物体の領域が存在する場合においても、適切な特定物体の領域を選択し、これを対象物体の領域に関連付けることができる。このように、画像中の複数の物体の領域を適切に関連付けることができる。
さらに、ＰＴＺ追尾において、対象物体の領域と特定物体の領域とを関連付けることで、追尾精度を向上させることができる。対象物体の領域の追尾は、画像から抽出した色やエッジなどの見た目の情報を用いて行われる。このため、対象物体の外観の変化や照明変動などの要因があると失敗しやすい。一方、対象物体の領域の代わりに、対象物体の領域に関連付けられた特定物体の領域を追尾したり、対象物体の領域の追尾と関連物体の領域の追尾を同時に行い、その結果を統合したりすることで、より高精度に追尾を行うことができる。
また、対象物体の領域と特定物体の領域とを関連付けることで、適切なＰＴＺ制御を行うことができる。関連物体の領域の画面上の位置及び大きさにより、対象物体の領域の位置及び大きさを推定できる。そこで、推定結果をもとに、例えば、対象物体が画面上に一定の大きさで映るようにズームを制御したり、対象物体の重要な部位を画面中心に映すようにパン、チルトを制御したりすることができる。
本実施形態の第１の変更例としては、関連付部３０８は、映像中に表れる特定物体の領域の数に応じて、関連付条件を決定（変更）してもよい。関連付部３０８は、例えば、特定物体の領域の出現数が多いほど、判定期間を長くしてもよい。本処理は、判定期間を変更する期間変更処理の一例である。また、関連付部３０８は、特定物体の領域の出現数が多いほど、１つ目の条件及び２つ目の条件を、特定物体の領域が対象物体の領域に関連付き難い条件に変更してもよい。この変更により、対象物体の領域に関連付けられる可能性のある特定物体の領域が複数存在している場合には、特定物体の領域との関連性がより高い特定物体の領域のみを対象物体の領域に関連付けることができる。
また、第２の変更例としては、関連付部３０８は、実施形態において説明した関連付条件の判定期間を適宜変更してもよい。例えば、関連付部３０８は、対象物体の領域と特定物体の領域との間の距離、または、対象物体の領域と特定物体の領域とが重畳する面積に基づいて、判定期間を変更してもよい。関連付部３０８は例えば、対象物体の領域と特定物体の領域との間の距離が閾値未満の場合には、距離が閾値以上の場合の判定期間に比べてより短い期間を判定期間としてもよい。また、関連付部３０８は、対象物体の領域と特定物体の領域とが重畳する領域の面積の大きさが閾値以上の場合に、大きさが閾値未満の場合の判定期間に比べてより短い期間を判定期間としてもよい。本処理は、判定期間を変更する期間変更処理の一例である。
また他の例としては、関連付部３０８は、対象物体の領域と特定物体の領域の少なくとも一方に含まれる領域又は対象物体の領域と特定物体の領域を包含する最小の外接矩形を基準とする。そして、関連付部３０８は、基準の面積に対する、対象物体の領域と特定物体の領域とが重畳する面積の割合が大きい場合に、判定期間をより短い期間に変更してもよい。
また、第３の変更例としては、関連付条件は、実施形態に限定されるものではない。例えば、関連付部３０８は、上記１つ目の条件、２つ目の条件に加えて３つ目の条件を満たす場合に、特定物体の領域を関連付けることとしてもよい。ここで、３つ目の条件は、対象物体の領域の面積を基準とした特定物体の領域の面積の変化量（以下、最大面積変化量）が所定の範囲であるという条件である。この３つ目の条件を加えることにより、対象物体の領域に対して面積が大きく変動する特定物体の領域を、関連付けの候補から除くことができる。
また、第４の変更例としては、本実施形態においては、物体間の距離を、２次元画像上の物体の位置に従って定義したが、距離の計算方法はこれに限定されるものではない。例えば、カメラ１０１を中心とした球面を考える。カメラ１０１を端として物体とを結ぶ半直線と、球面との交点を物体の座標と定義すると、物体の座標は、経度及び緯度により唯一に定まる。物体の経度及び緯度は、映像撮像時の撮像部２０４の姿勢情報と、物体の映像上の位置の情報と、から算出可能である。このように、他の例としては、カメラ１０１は、２次元座標の代わりに、経度および緯度に基づき、物体間の距離を定義してもよい。
第５の変更例としては、Ｓ４０９において関連付けを行った後、決定部３０６は、対象物体の領域を変更してもよい。決定部３０６は、例えば、対象物体の領域の中心が関連付けられた特定物体の領域の中心と同じになるように、対象物体の領域を変更してもよい。本処理は、対象物体の物体領域を変更する領域変更処理の一例である。
第６の変更例としては、追尾処理は、カメラ１０１以外の装置が行ってもよい。例えば、カメラ１０１の制御装置がカメラ１０１と別装置として存在する場合において、制御装置が追尾処理を実行してもよい。この場合、制御装置は、カメラ１０１により撮影された映像をリアルタイムに受信し、受信した映像に対して、追尾処理を実行し、ＰＴＺ制御により生成したパン、チルト及びズームの制御命令をカメラ１０１に送信する。また、他の例としては、録画装置１０２が追尾処理を行ってもよい。この場合、録画装置１０２は、カメラ１０１から受信した映像に対しリアルタイムに追尾処理を行ってもよく、不図示の記憶部に録画された映像に対し追尾処理を行ってもよい。また録画装置１０２が追尾処理を行う場合には、ＰＴＺ制御処理（Ｓ４１２）は省略してもよい。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
（その他の実施形態）
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００ 追尾システム
１０１ カメラ
１０２ 録画装置
１０３ 表示装置
２０１ ＣＰＵ
２０４ 撮像部

Claims (16)

  1. 時系列に沿って得られた複数の画像において、所定の物体領域を追尾する追尾装置であって、
    判定期間における、追尾対象として指定された領域である第１の物体領域の追尾の結果得られる第１の物体領域の位置と、第２の物体領域の追尾の結果得られる第２の物体領域の位置との関係に従い、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定する判定手段と、
    前記判定手段により関連付けると判定された前記第２の物体領域を前記第１の物体領域に関連付ける関連付手段と
    を有することを特徴とする追尾装置。
  2. 前記第１の物体領域は、前記複数の画像から追尾対象として検出された移動物体の領域又はユーザにより追尾対象として指定された物体領域の何れかの領域であることを特徴とする請求項１に記載の追尾装置。
  3. 前記第２の物体領域は、特定の物体種別に固有の特徴に基づいて前記画像から検出された物体領域であることを特徴とする請求項１又は２に記載の追尾装置。
  4. 前記画像において、前記第１の物体領域を追尾する第１の追尾手段と、
    前記画像において、前記第２の物体領域を追尾する第２の追尾手段と
    を有し、
    前記判定手段は、前記第１の追尾手段の追尾の結果と、前記第２の追尾手段の追尾の結果と、に基づいて、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定することを特徴とする請求項１乃至３何れか１項に記載の追尾装置。
  5. 前記第１の追尾手段は、前記第１の物体領域と前記第２の物体領域とが関連付けられている場合に、前記第２の物体領域の位置に基づいて、前記第１の物体領域の追尾を行うことを特徴とする請求項４に記載の追尾装置。
  6. 前記第１の物体領域と前記第２の物体領域とが関連付けられている場合に、前記第２の物体領域に基づいて、前記第１の物体領域を変更する領域変更手段をさらに有することを特徴とする請求項４又は５に記載の追尾装置。
  7. 画像を撮像する撮像手段と、
    前記第１の物体領域と前記第１の物体領域とが関連付けられている場合に、前記第２の物体領域の位置に基づいて、前記撮像手段における撮像方向又は撮像画角のうち少なくとも一方を制御する制御手段と
    をさらに有することを特徴とする請求項１乃至６何れか１項に記載の追尾装置。
  8. 前記判定手段は、前記第１の物体領域の位置と、前記第２の物体領域の位置との関係に係る条件に従い、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定することを特徴とする請求項１乃至７何れか１項に記載の追尾装置。
  9. 前記条件は、前記判定期間に対応する複数の画像それぞれにおける、前記第１の物体領域と前記第２の物体領域の間の距離が距離閾値未満の場合に、前記第２の物体領域を前記第１の物体領域に関連付けるという条件であることを特徴とする請求項８に記載の追尾装置。
  10. 前記条件は、前記判定期間に対応する複数の画像それぞれにおける、前記第１の物体領域の位置を基準とした前記第２の物体領域の相対位置の変化量が変化量閾値未満の場合に、前記第２の物体領域を前記第１の物体領域に関連付けるという条件であることを特徴とする請求項８又は９に記載の追尾装置。
  11. 前記判定手段は、さらに前記第１の物体領域の面積と前記第２の物体領域の面積との関係に係る条件に基づいて、前記第２の物体領域を、前記第１の物体領域に関連付けるか否かを判定することを特徴とする請求項１乃至１０何れか１項に記載の追尾装置。
  12. 前記判定手段は、前記画像において検出された前記第２の物体領域の数に基づいて、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定するための条件を決定し、決定した条件に従い、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定することを特徴とする請求項８乃至１１何れか１項に記載の追尾装置。
  13. 前記第１の物体領域と前記第２の物体領域の間の距離及び前記第１の物体領域と前記第２の物体領域とが重畳する領域の面積のうち少なくとも一方に基づいて、前記判定期間を変更する期間変更手段をさらに有することを特徴とする請求項１乃至１２何れか１項に記載の追尾装置。
  14. 前記画像において検出された前記第２の物体領域の数に基づいて、前記判定期間を変更する期間変更手段をさらに有することを特徴とする請求項１乃至１２何れか１項に記載の追尾装置。
  15. 時系列に沿って得られた複数の画像において、所定の物体領域を追尾する追尾装置が実行する追尾処理であって、
    判定期間における、追尾対象として指定された領域である第１の物体領域の追尾の結果得られる第１の物体領域の位置と、第２の物体領域の追尾の結果得られる第２の物体領域の位置との関係に従い、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定する判定ステップと、
    前記判定ステップにおいて関連付けると判定された前記第２の物体領域を前記第１の物体領域に関連付ける関連付ステップと
    を含むことを特徴とする追尾方法。
  16. 時系列に沿って得られた複数の画像において、所定の物体領域を追尾する追尾装置のコンピュータを、
    判定期間における、追尾対象として指定された領域である第１の物体領域の追尾の結果得られる第１の物体領域の位置と、第２の物体領域の追尾の結果得られる第２の物体領域の位置との関係に従い、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定する判定手段と、
    前記判定手段により関連付けると判定された前記第２の物体領域を前記第１の物体領域に関連付ける関連付手段と
    として機能させるためのプログラム。
JP2016104297A 2016-05-25 2016-05-25 追尾装置、追尾方法及びプログラム Active JP6755713B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016104297A JP6755713B2 (ja) 2016-05-25 2016-05-25 追尾装置、追尾方法及びプログラム
US15/596,815 US10438360B2 (en) 2016-05-25 2017-05-16 Video processing apparatus, video processing method, and storage medium
GB1708077.1A GB2553178B (en) 2016-05-25 2017-05-19 Video processing apparatus, video processing method, and program
CN201710369007.4A CN107438173B (zh) 2016-05-25 2017-05-23 视频处理装置、视频处理方法和存储介质
DE102017111203.0A DE102017111203B4 (de) 2016-05-25 2017-05-23 Videoverarbeitungsvorrichtung, videoverarbeitungsverfahren und programm
KR1020170063259A KR102213328B1 (ko) 2016-05-25 2017-05-23 영상 처리장치, 영상 처리방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016104297A JP6755713B2 (ja) 2016-05-25 2016-05-25 追尾装置、追尾方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017212581A true JP2017212581A (ja) 2017-11-30
JP6755713B2 JP6755713B2 (ja) 2020-09-16

Family

ID=59220494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016104297A Active JP6755713B2 (ja) 2016-05-25 2016-05-25 追尾装置、追尾方法及びプログラム

Country Status (6)

Country Link
US (1) US10438360B2 (ja)
JP (1) JP6755713B2 (ja)
KR (1) KR102213328B1 (ja)
CN (1) CN107438173B (ja)
DE (1) DE102017111203B4 (ja)
GB (1) GB2553178B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688906A (zh) * 2019-08-31 2020-01-14 深圳市广宁股份有限公司 风电设备的智能检测方法及相关产品
JP2020170892A (ja) * 2019-04-01 2020-10-15 株式会社Ｊｖｃケンウッド 自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法。
WO2022097489A1 (ja) * 2020-11-09 2022-05-12 キヤノン株式会社 画像処理装置、画像処理方法
JP7497587B2 (ja) 2020-03-24 2024-06-11 Ｏｍデジタルソリューションズ株式会社 撮像装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3573326A4 (en) * 2017-01-20 2019-11-27 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING SYSTEM
CN109155067A (zh) * 2018-01-23 2019-01-04 深圳市大疆创新科技有限公司 可移动平台的控制方法、设备、计算机可读存储介质
JP7216487B2 (ja) * 2018-06-21 2023-02-01 キヤノン株式会社 画像処理装置およびその制御方法
WO2020145882A1 (en) * 2019-01-09 2020-07-16 Hitachi, Ltd. Object tracking systems and methods for tracking a target object
CN109859149B (zh) * 2019-01-25 2023-08-08 成都泰盟软件有限公司 一种设定目标查找区域小动物运动跟踪方法
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
CN110008379A (zh) * 2019-03-19 2019-07-12 北京旷视科技有限公司 监控图像处理方法及装置
JP7174252B2 (ja) * 2019-04-25 2022-11-17 日本電信電話株式会社 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム
US20220262142A1 (en) * 2019-08-14 2022-08-18 Intel Corporation Automatic generation of 3d bounding boxes from multi-camera 2d image data
JP2021052325A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP7328849B2 (ja) 2019-09-25 2023-08-17 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP7307643B2 (ja) 2019-09-25 2023-07-12 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
CN111028270B (zh) * 2019-11-14 2023-04-07 浙江大华技术股份有限公司 跟踪全景图像中物体越界的方法、装置、终端及存储装置
CN111145212B (zh) * 2019-12-03 2023-10-03 浙江大华技术股份有限公司 一种目标追踪处理方法及装置
JPWO2021145071A1 (ja) * 2020-01-14 2021-07-22
CN113012194B (zh) * 2020-12-25 2024-04-09 深圳市铂岩科技有限公司 目标追踪方法、装置、介质和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211311A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置及び方法
JP2011197963A (ja) * 2010-03-18 2011-10-06 Fujitsu Ltd 人物検出装置、人物検出方法及びプログラム
JP2012103752A (ja) * 2010-11-05 2012-05-31 Canon Inc 映像処理装置および方法
JP2013162329A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2016076791A (ja) * 2014-10-03 2016-05-12 キヤノン株式会社 物体追尾装置、物体追尾方法、およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263088B1 (en) 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
ATE486332T1 (de) 2005-03-17 2010-11-15 British Telecomm Verfahren zur verfolgung von objekten in einer videosequenz
KR100883066B1 (ko) * 2007-08-29 2009-02-10 엘지전자 주식회사 텍스트를 이용한 피사체 이동 경로 표시장치 및 방법
US8768007B2 (en) * 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
US9076257B2 (en) * 2013-01-03 2015-07-07 Qualcomm Incorporated Rendering augmented reality based on foreground object
FR3003065B1 (fr) * 2013-03-05 2015-02-27 Commissariat Energie Atomique Procede de suivi d'une cible dans une sequence d'images avec prise en compte de la dynamique de la cible
WO2014172832A1 (en) * 2013-04-22 2014-10-30 Jaw Ip Limited A system and method for tracking an object
US10043284B2 (en) * 2014-05-07 2018-08-07 Varian Medical Systems, Inc. Systems and methods for real-time tumor tracking
CN104537692B (zh) * 2014-12-30 2016-02-17 中国人民解放军国防科学技术大学 基于时空上下文信息辅助的关键点稳定跟踪方法
CN104574444B (zh) * 2015-01-19 2017-06-09 天津工业大学 一种基于目标分解的Camshift跟踪方法
CN104915970B (zh) * 2015-06-12 2019-03-29 南京邮电大学 一种基于轨迹关联的多目标跟踪方法
GB201512283D0 (en) 2015-07-14 2015-08-19 Apical Ltd Track behaviour events

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211311A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置及び方法
JP2011197963A (ja) * 2010-03-18 2011-10-06 Fujitsu Ltd 人物検出装置、人物検出方法及びプログラム
JP2012103752A (ja) * 2010-11-05 2012-05-31 Canon Inc 映像処理装置および方法
JP2013162329A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
US20140247374A1 (en) * 2012-02-06 2014-09-04 Sony Corporation Image processing apparatus, image processing method, program, and recording medium
JP2016076791A (ja) * 2014-10-03 2016-05-12 キヤノン株式会社 物体追尾装置、物体追尾方法、およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170892A (ja) * 2019-04-01 2020-10-15 株式会社Ｊｖｃケンウッド 自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法。
JP7183920B2 (ja) 2019-04-01 2022-12-06 株式会社Ｊｖｃケンウッド 自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法。
CN110688906A (zh) * 2019-08-31 2020-01-14 深圳市广宁股份有限公司 风电设备的智能检测方法及相关产品
CN110688906B (zh) * 2019-08-31 2023-07-18 深圳市广宁股份有限公司 风电设备的智能检测方法及相关产品
JP7497587B2 (ja) 2020-03-24 2024-06-11 Ｏｍデジタルソリューションズ株式会社 撮像装置
WO2022097489A1 (ja) * 2020-11-09 2022-05-12 キヤノン株式会社 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
US10438360B2 (en) 2019-10-08
KR20170133269A (ko) 2017-12-05
DE102017111203A1 (de) 2017-11-30
DE102017111203B4 (de) 2024-02-01
US20170345162A1 (en) 2017-11-30
KR102213328B1 (ko) 2021-02-08
GB2553178B (en) 2020-05-13
JP6755713B2 (ja) 2020-09-16
CN107438173A (zh) 2017-12-05
GB201708077D0 (en) 2017-07-05
CN107438173B (zh) 2021-08-03
GB2553178A (en) 2018-02-28

Similar Documents

Publication Publication Date Title
JP6755713B2 (ja) 追尾装置、追尾方法及びプログラム
JP4241742B2 (ja) 自動追尾装置及び自動追尾方法
JP5001260B2 (ja) オブジェクト追跡方法及びオブジェクト追跡装置
US8400506B2 (en) Camera control apparatus, method for controlling camera, and storage medium
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
JP3800217B2 (ja) 監視システム
JP6141079B2 (ja) 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
JP2007129480A (ja) 撮像装置
JP2011022157A (ja) 位置検出装置、位置検出方法、及び位置検出プログラム
WO2014010203A1 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
EP3629570A2 (en) Image capturing apparatus and image recording method
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
JP2002374521A (ja) 移動体の監視方法および装置
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
JP2016076791A (ja) 物体追尾装置、物体追尾方法、およびプログラム
JP6602286B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
JP2020052822A (ja) 情報処理装置、認証システムおよびそれらの制御方法、プログラム
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
US9761009B2 (en) Motion tracking device control systems and methods
WO2023166649A1 (ja) 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体
WO2023166648A1 (ja) 移動軌跡情報処理装置
JP7325180B2 (ja) 追尾装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200826

R151 Written notification of patent or utility model registration

Ref document number: 6755713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151