JP2018147311A - Image processing apparatus, tracking method, and tracking program - Google Patents

Image processing apparatus, tracking method, and tracking program Download PDF

Info

Publication number
JP2018147311A
JP2018147311A JP2017043036A JP2017043036A JP2018147311A JP 2018147311 A JP2018147311 A JP 2018147311A JP 2017043036 A JP2017043036 A JP 2017043036A JP 2017043036 A JP2017043036 A JP 2017043036A JP 2018147311 A JP2018147311 A JP 2018147311A
Authority
JP
Japan
Prior art keywords
state
target object
unit
vehicle
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017043036A
Other languages
Japanese (ja)
Inventor
敦志 河村
Atsushi Kawamura
敦志 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2017043036A priority Critical patent/JP2018147311A/en
Priority to PCT/JP2017/041246 priority patent/WO2018163515A1/en
Publication of JP2018147311A publication Critical patent/JP2018147311A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Abstract

PROBLEM TO BE SOLVED: To improve an identification accuracy of an object in frame images while suppressing influence due to change of the status of the object to be tracked.SOLUTION: In an image input part 3, a frame mage obtained by imaging a target area is input. An object detection function part 21 processes the frame image input into the image input part 3, and detects a target object to be imaged. An identification function part 24 identifies the target object detected by the object detection function part 21 in the frame images. A status recognition function part 22 recognizes the status of the target object. A status transition prediction function part 23 predicts the status where the target object is transited. The identification function part 24 identifies the target object in the frame images in accordance with the status of the target object recognized by the status recognition function part 22 and the status of the transition of the target object that is predicted by the status transition prediction function part 23.SELECTED DRAWING: Figure 1

Description

この発明は、対象エリアを撮像したフレーム画像を処理し、撮像されている対象オブジェクトの移動を追跡する技術に関する。   The present invention relates to a technique for processing a frame image obtained by imaging a target area and tracking the movement of the target object being imaged.

従来、対象エリアを撮像したフレーム画像を処理して、対象エリア内における人や車両等のオブジェクトの移動を追跡する装置がある（例えば、特許文献１〜３参照）。   2. Description of the Related Art Conventionally, there is an apparatus that processes a frame image obtained by capturing a target area and tracks the movement of an object such as a person or a vehicle within the target area (see, for example, Patent Documents 1 to 3).

この種の装置は、対象エリアを撮像したフレーム画像毎に、そのフレーム画像に撮像されているオブジェクトを検出する。フレーム画像に撮像されているオブジェクトの検出は、背景差分、フレーム間差分、パターンマッチング等の手法で行われる。また、この種の装置は、フレーム画像間で検出したオブジェクトを同定することにより、対象エリア内におけるオブジェクトの移動を追跡する。   This type of apparatus detects the object imaged in the frame image for each frame image obtained by imaging the target area. Detection of an object captured in a frame image is performed by a method such as background difference, inter-frame difference, pattern matching, and the like. Also, this type of device tracks the movement of the object within the target area by identifying the detected object between the frame images.

特開２０１６−１５２０２７号公報Japanese Patent Laying-Open No. 2006-152027 特開２０１４−１４９７１６号公報JP 2014-149716 A 特開２０１６− ８５６７５号公報JP, 2006-85675, A

しかしながら、対象エリアにおいて、追跡しているオブジェクトの状態（向きや姿勢等）が変化すると、その状態の変化にともなって、フレーム画像に撮像されているオブジェクト（追跡しているオブジェクト）の形状や、移動方向等が変化する。   However, when the state (orientation, posture, etc.) of the tracked object changes in the target area, the shape of the object (tracked object) captured in the frame image is changed along with the change of the state, The direction of movement changes.

特許文献１〜３に記載されている装置は、フレーム画像間におけるオブジェクトの同定において、フレーム画像に撮像されているオブジェクトの形状の変化や、オブジェクトの移動方向の変化に対応しておらず、オブジェクトの状態が変化するとフレーム画像間におけるオブジェクトの同定に失敗することがあった。   The devices described in Patent Documents 1 to 3 do not correspond to a change in the shape of an object captured in a frame image or a change in the movement direction of an object in identifying an object between frame images. When the state of the object changes, identification of objects between frame images may fail.

この発明の目的は、追跡しているオブジェクトの状態の変化による影響を抑え、フレーム画像間でのオブジェクトの同定精度の向上を図る技術を提供することにある。   An object of the present invention is to provide a technique for suppressing the influence of a change in the state of a tracked object and improving the accuracy of identifying the object between frame images.

この発明の画像処理装置は、上記目的を達するために、以下のように構成している。   In order to achieve the above object, the image processing apparatus of the present invention is configured as follows.

画像入力部には、対象エリアを撮像したフレーム画像が入力される。オブジェクト検出部は、画像入力部に入力されたフレーム画像を処理し、撮像されている対象オブジェクトを検出する。同定部は、撮像タイミングが異なる２つのフレーム画像において、オブジェクト検出部が検出した対象オブジェクトを同定する。   A frame image obtained by imaging the target area is input to the image input unit. The object detection unit processes the frame image input to the image input unit and detects the target object being imaged. The identification unit identifies a target object detected by the object detection unit in two frame images having different imaging timings.

また、状態認識部は、オブジェクト検出部が検出した対象オブジェクトの状態を認識する。例えば、状態認識部は、対象オブジェクトについて、予め定めた複数の状態別に、その状態である確からしさの度合いを認識する。また、状態遷移予測部は、対象オブジェクトが遷移する状態を予測する。   The state recognition unit recognizes the state of the target object detected by the object detection unit. For example, the state recognizing unit recognizes the degree of certainty of the target object for each of a plurality of predetermined states. The state transition prediction unit predicts a state in which the target object transitions.

そして、同定部は、フレーム画像間での対象オブジェクトの同定を、状態認識部が認識した対象オブジェクトの状態と、状態遷移予測部が予測した対象オブジェクトが遷移する状態とに応じて行う。例えば、同定部は、対象オブジェクトを同定するフレーム画像であって、先に撮像された一方のフレーム画像に対して、状態認識部が認識した対象オブジェクトの状態と状態遷移予測部が予測した対象オブジェクトの遷移する状態とに応じて、後に撮像された他方のフレーム画像上において同定する対象オブジェクトを探索する領域を決定する。したがって、追跡している対象オブジェクトの状態（向きや姿勢等）が変化し、その状態の変化にともなって、フレーム画像に撮像されている対象オブジェクト（追跡しているオブジェクト）の形状や、移動方向等が変化しても、その変化に応じて、対象オブジェクトをフレーム画像間で同定できる。すなわち、追跡しているオブジェクトの状態の変化による影響を抑え、フレーム画像間でのオブジェクトの同定精度の向上が図れる。   Then, the identification unit identifies the target object between the frame images according to the state of the target object recognized by the state recognition unit and the state in which the target object predicted by the state transition prediction unit transitions. For example, the identification unit is a frame image for identifying the target object, and the target object recognized by the state transition prediction unit and the state of the target object recognized by the state recognition unit with respect to one of the previously captured frame images In accordance with the state of transition, the area for searching for the target object to be identified on the other frame image captured later is determined. Therefore, the state (orientation, posture, etc.) of the tracked target object changes, and the shape of the target object (tracked object) captured in the frame image and the moving direction are changed with the change of the state. Etc., the target object can be identified between the frame images according to the change. That is, it is possible to suppress the influence due to the change in the state of the tracked object and improve the object identification accuracy between the frame images.

また、対象オブジェクトについて、予め定めた複数の状態に属する２つの状態の組合せ毎に、一方の状態から他方の状態に遷移する度合いを示す状態遷移パラメータを記憶する記憶部を備え、状態遷移予測部がこの状態遷移パラメータを用いて、対象オブジェクトが遷移する状態を予測する構成にしてもよい。このように構成すれば、状態遷移パラメータを適正に設定することで、状態遷移予測部における対象オブジェクトが遷移する状態の予測精度を向上できる。これにより、フレーム画像間における対象オブジェクトの同定精度の一層の向上が図れる。   In addition, the target object includes a storage unit that stores a state transition parameter indicating a degree of transition from one state to the other state for each combination of two states belonging to a plurality of predetermined states, and a state transition prediction unit However, the state transition parameter may be used to predict the state in which the target object transitions. If comprised in this way, the prediction accuracy of the state in which the target object in a state transition prediction part will change can be improved by setting a state transition parameter appropriately. Thereby, the identification accuracy of the target object between the frame images can be further improved.

さらに、状態遷移予測部は、状態認識部が認識した対象オブジェクトの状態をも用いて、対象オブジェクトが遷移する状態を予測する構成にしてもよい。このように構成すれば、状態遷移予測部は、対象オブジェクトの現在の状態も考慮して、遷移する状態を予測するので、対象オブジェクトが遷移する状態の予測精度の一層の向上が図れる。   Further, the state transition prediction unit may be configured to predict the state in which the target object transitions using the state of the target object recognized by the state recognition unit. With this configuration, the state transition prediction unit predicts the transition state in consideration of the current state of the target object, so that the prediction accuracy of the state in which the target object transitions can be further improved.

この発明によれば、追跡しているオブジェクトの状態の変化による影響を抑え、フレーム画像間でのオブジェクトの同定精度の向上が図れる。   According to the present invention, it is possible to suppress the influence due to the change in the state of the object being tracked, and to improve the object identification accuracy between the frame images.

この例にかかる画像処理装置の主要部の構成を示す図である。It is a figure which shows the structure of the principal part of the image processing apparatus concerning this example. フレーム画像上における車両の状態の分類を説明する図である。It is a figure explaining the classification | category of the state of the vehicle on a frame image. 図３（Ａ）は、従来のフレーム間で車両の同定を示し、図３（Ｂ）は、この例にかかるフレーム間で車両の同定を示す。FIG. 3A shows identification of a vehicle between conventional frames, and FIG. 3B shows identification of a vehicle between frames according to this example. オブジェクトマップを示す図である。It is a figure which shows an object map. この例にかかる画像処理装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image processing apparatus concerning this example.

以下、この発明の実施形態である画像処理装置について説明する。   Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.

図１は、この例にかかる画像処理装置の主要部の構成を示す図である。この例にかかる画像処理装置１は、制御部２と、画像入力部３と、出力部４と、状態遷移パラメータ記憶部５と、を備えている。この画像処理装置１には、カメラ１０が接続されている。カメラ１０の撮像エリアは、オブジェクトを追跡する対象エリアを含む大きさである。この例では、画像処理装置１が対象エリアにおいて追跡するオブジェクトは、車両である。すなわち、この例では、車両が、この発明で言う対象オブジェクトに相当する。カメラ１０は、モノクロ画像を撮像するものであってもよいし、カラー画像を撮像するものであってもよい。カメラ１０は、一定のフレームレート（例えば、３０フレーム／ｓｅｃ）で撮像したフレーム画像を画像処理装置１に入力する。   FIG. 1 is a diagram showing a configuration of a main part of the image processing apparatus according to this example. The image processing apparatus 1 according to this example includes a control unit 2, an image input unit 3, an output unit 4, and a state transition parameter storage unit 5. A camera 10 is connected to the image processing apparatus 1. The imaging area of the camera 10 has a size including a target area for tracking an object. In this example, the object that the image processing apparatus 1 tracks in the target area is a vehicle. That is, in this example, the vehicle corresponds to the target object referred to in the present invention. The camera 10 may capture a monochrome image or may capture a color image. The camera 10 inputs a frame image captured at a constant frame rate (for example, 30 frames / sec) to the image processing apparatus 1.

なお、画像処理装置１は、図１に示すようにカメラ１０から直接フレーム画像を入力してもよいし、カメラ１０が撮像したフレーム画像をハードディスク等のメディアに一旦記録し、このメディアに記録したフレーム画像を入力してもよい。   The image processing apparatus 1 may directly input a frame image from the camera 10 as shown in FIG. 1, or the frame image captured by the camera 10 is temporarily recorded on a medium such as a hard disk and recorded on this medium. A frame image may be input.

制御部２は、画像処理装置１本体の各部を制御する。また、制御部２は、カメラ１０が撮像したフレーム画像を処理し、フレーム画像に撮像されている車両を検出し、検出した車両の追跡を行う。制御部２は、図１に示すように、オブジェクト検出機能部２１、状態認識機能部２２、状態遷移予測機能部２３、および同定機能部２４を有している。   The control unit 2 controls each unit of the image processing apparatus 1 main body. Moreover, the control part 2 processes the frame image imaged by the camera 10, detects the vehicle imaged in the frame image, and tracks the detected vehicle. As shown in FIG. 1, the control unit 2 includes an object detection function unit 21, a state recognition function unit 22, a state transition prediction function unit 23, and an identification function unit 24.

この制御部２は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、オブジェクト検出機能部２１、状態認識機能部２２、状態遷移予測機能部２３、および同定機能部２４として機能する。また、メモリは、ワーキングエリアとして、一時的なデータの記憶領域として利用される。また、制御部２が、この発明にかかる追跡方法を実行する。また、この発明にかかる追跡プログラムは、制御部２において実行される。制御部２は、ハードウェアＣＰＵ、メモリ、その他の電子回路を一体化したＬＳＩであってもよい。   The control unit 2 includes a hardware CPU, a memory, and other electronic circuits. The hardware CPU functions as an object detection function unit 21, a state recognition function unit 22, a state transition prediction function unit 23, and an identification function unit 24. The memory is used as a temporary data storage area as a working area. Moreover, the control part 2 performs the tracking method concerning this invention. The tracking program according to the present invention is executed by the control unit 2. The control unit 2 may be an LSI in which a hardware CPU, a memory, and other electronic circuits are integrated.

制御部２が有するオブジェクト検出機能部２１、状態認識機能部２２、状態遷移予測機能部２３、および同定機能部２４の詳細については後述する。   Details of the object detection function unit 21, the state recognition function unit 22, the state transition prediction function unit 23, and the identification function unit 24 included in the control unit 2 will be described later.

なお、オブジェクト検出機能部２１、状態認識機能部２２、状態遷移予測機能部２３、および同定機能部２４は、制御部２とは別に設けた画像処理プロセッサで構成してもよい。この場合、画像処理プロセッサが、この発明にかかる追跡方法を実行する。また、この発明にかかる追跡プログラムは、画像処理プロセッサにおいて実行される。   Note that the object detection function unit 21, the state recognition function unit 22, the state transition prediction function unit 23, and the identification function unit 24 may be configured by an image processor provided separately from the control unit 2. In this case, the image processor executes the tracking method according to the present invention. The tracking program according to the present invention is executed by an image processor.

画像入力部３には、カメラ１０が予め定めたフレームレートで撮像エリアを撮像したフレーム画像が入力される。画像入力部３は、入力されたフレーム画像を一時的に記憶する画像メモリを有している。   The image input unit 3 receives a frame image obtained by imaging the imaging area by the camera 10 at a predetermined frame rate. The image input unit 3 has an image memory that temporarily stores the input frame image.

出力部４は、対象エリア内で追跡した各車両の追跡結果（後述する、オブジェクトマップ）を上位装置（不図示）に出力する。   The output unit 4 outputs a tracking result (an object map, which will be described later) of each vehicle tracked in the target area to a higher-level device (not shown).

状態遷移パラメータ記憶部５は、車両が状態Ｓｉから状態Ｓｊに遷移する度合いを定めた状態遷移パラメータを記憶する。この例では、車両の状態Ｓは、フレーム画像上における車両の向きであり、図２に示す８つの状態Ｓ１〜Ｓ８に分類している。状態の分類数は、８つに限らず、２つ以上であればいくつであってもよい。図２に示す車両の状態Ｓ１〜Ｓ８（向き）は、カメラ１０が撮像したフレーム画像上における向きである。撮像エリアに対するカメラ１０の撮像方向は固定であるので、図２に示す状態Ｓ１〜Ｓ８の車両は、撮像エリアにおいて向きが異なっている。図２に示す、
状態Ｓ１は、車両がフレーム画像上において後ろ向きである状態であり、
状態Ｓ２は、車両がフレーム画像上において左斜め後ろ向きである状態であり、
状態Ｓ３は、車両がフレーム画像上において左横向きである状態であり、
状態Ｓ４は、車両がフレーム画像上において左斜め前向きである状態であり、
状態Ｓ５は、車両がフレーム画像上において前向きである状態であり、
状態Ｓ６は、車両がフレーム画像上において右斜め前向きである状態であり、
状態Ｓ７は、車両がフレーム画像上において右横向きである状態であり、
状態Ｓ８は、車両がフレーム画像上において右斜め後ろ向きである状態である。 The state transition parameter storage unit 5 stores a state transition parameter that defines the degree of transition of the vehicle from the state Si to the state Sj. In this example, the vehicle state S is the direction of the vehicle on the frame image, and is classified into eight states S1 to S8 shown in FIG. The number of state classifications is not limited to eight and may be any number as long as it is two or more. The vehicle states S <b> 1 to S <b> 8 (orientation) shown in FIG. 2 are orientations on a frame image captured by the camera 10. Since the imaging direction of the camera 10 with respect to the imaging area is fixed, the orientation of the vehicles in the states S1 to S8 shown in FIG. 2 is different in the imaging area. As shown in FIG.
State S1 is a state in which the vehicle is facing backward on the frame image,
State S2 is a state in which the vehicle is diagonally left rearward on the frame image,
State S3 is a state in which the vehicle is facing left side on the frame image,
State S4 is a state in which the vehicle is diagonally left frontward on the frame image,
State S5 is a state in which the vehicle is facing forward on the frame image,
State S6 is a state in which the vehicle is diagonally forward right on the frame image,
State S7 is a state in which the vehicle is facing right side on the frame image,
State S8 is a state in which the vehicle is obliquely rearward to the right on the frame image.

状態遷移パラメータ記憶部５が記憶する状態遷移パラメータは、ｎ行ｎ列の正方行列Ｔである。ｎは、追跡対象であるオブジェクトの状態の分類数である。この例では上述したように車両の状態の分類数は８つであるので、ｎ＝８である。状態遷移パラメータである正方行列Ｔ（以下、単に状態遷移パラメータＴと言う。）の各要素Ｔｊｉは、車両が状態Ｓｉから状態Ｓｊに遷移する度合いである。ここで言う車両の状態Ｓの遷移には、同じ状態Ｓの遷移も含まれる。 The state transition parameter stored in the state transition parameter storage unit 5 is a square matrix T with n rows and n columns. n is the classification number of the state of the object to be tracked. In this example, as described above, since the number of classifications of the vehicle state is 8, n = 8. Each element T ji of the square matrix T (hereinafter simply referred to as state transition parameter T), which is a state transition parameter, is the degree to which the vehicle transitions from state Si to state Sj. The transition of the state S of the vehicle mentioned here includes the transition of the same state S.

追跡する対象オブジェクトである車両の状態Ｓは、フレーム画像間において急激に変化することはなく、徐々に変化する。例えば、あるフレーム画像に撮像されている車両が図２に示す状態Ｓ１〜Ｓ８のいずれかである場合、次のフレーム画像に撮像されている当該車両は、同じ状態、または図２に示す隣接する２つの状態（合計３つの状態）のいずれかに遷移する度合いが高く、これら以外の状態に遷移する度合いは極めて小さい。例えば、あるフレーム画像に撮像されている車両が図２に示す状態Ｓ１である場合、次のフレーム画像に撮像されている当該車両は、同じ状態Ｓ１、または図２に示す隣接する２つの状態Ｓ２、Ｓ８のいずれかである度合いが高く、これら以外の状態Ｓ３〜Ｓ７である度合いは極めて小さい。   The state S of the vehicle that is the target object to be tracked does not change abruptly between the frame images and gradually changes. For example, when the vehicle imaged in a certain frame image is in any one of the states S1 to S8 shown in FIG. 2, the vehicle imaged in the next frame image is the same state or adjacent in FIG. The degree of transition to one of two states (total of three states) is high, and the degree of transition to other states is extremely small. For example, when a vehicle imaged in a certain frame image is in the state S1 shown in FIG. 2, the vehicle imaged in the next frame image is the same state S1 or two adjacent states S2 shown in FIG. , S8 is high and the other states S3 to S7 are extremely small.

この状態遷移パラメータＴは、カメラ１０で撮像する対象エリアにおける車両の状態遷移を計測し、その計測結果を統計的に処理する等して各要素Ｔｊｉを決定すればよい。状態遷移パラメータ記憶部５が、この発明で言う記憶部に相当する。 The state transition parameter T measures the state transition of the vehicle in the target area to be imaged by the camera 10, it may be determined equal to each element T ji statistically processing the measurement results. The state transition parameter storage unit 5 corresponds to the storage unit referred to in the present invention.

次に、制御部２が有するオブジェクト検出機能部２１、状態認識機能部２２、状態遷移予測機能部２３、および同定機能部２４について説明する。   Next, the object detection function unit 21, the state recognition function unit 22, the state transition prediction function unit 23, and the identification function unit 24 included in the control unit 2 will be described.

オブジェクト検出機能部２１は、カメラ１０が撮像したフレーム画像に撮像されている車両を検出する。オブジェクト検出機能部２１は、カメラ１０が撮像したフレーム画像と背景画像との差分画像（背景差分画像）を生成して撮像されている車両を検出する構成であってもよいし、カメラ１０が撮像したフレーム画像間の差分画像（フレーム間差分画像）を生成して撮像されている車両を検出する構成であってもよい。また、オブジェクト検出機能部２１は、カメラ１０が撮像したフレーム画像に撮像されている車両をパターンマッチングによって検出する構成であってもよいし、これら以外の公知の手法で検出する構成であってもよい。オブジェクト検出機能部２１が、この発明で言うオブジェクト検出部に相当する。   The object detection function unit 21 detects the vehicle imaged in the frame image captured by the camera 10. The object detection function unit 21 may be configured to generate a difference image (background difference image) between a frame image captured by the camera 10 and a background image and detect a vehicle being captured, or the camera 10 may capture an image. The structure which detects the vehicle currently image | photographed by producing | generating the difference image (interframe difference image) between the performed frame images may be sufficient. Further, the object detection function unit 21 may be configured to detect the vehicle imaged in the frame image captured by the camera 10 by pattern matching, or may be configured to detect by a known method other than these. Good. The object detection function unit 21 corresponds to the object detection unit referred to in the present invention.

状態認識機能部２２は、オブジェクト検出機能部２１が検出した車両について、フレーム画像上における状態ベクトルｓを認識する。上述したように、この例では、追跡する車両の状態Ｓを８つに分類している。状態認識機能部２２は、オブジェクト検出機能部２１が検出した車両について、図２に示す状態Ｓ１〜Ｓ８の確からしさの度合いａ１〜ａ８を認識する。具体的には、状態認識機能部２２は、フレーム画像上における車両の状態ベクトルｓとして、
ｓ＝（ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７，ａ８）
の８次元のベクトルとして認識する。ａｍ（ｍ＝１〜８）は、検出した車両が図２に示した状態Ｓｎ（ｎ＝１〜８）である確からしさの度合いの認識結果である。 The state recognition function unit 22 recognizes the state vector s on the frame image for the vehicle detected by the object detection function unit 21. As described above, in this example, the state S of the vehicle to be tracked is classified into eight. The state recognition function unit 22 recognizes the degree of certainty a1 to a8 of the states S1 to S8 shown in FIG. 2 for the vehicle detected by the object detection function unit 21. Specifically, the state recognition function unit 22 uses the vehicle state vector s on the frame image as
s = (a1, a2, a3, a4, a5, a6, a7, a8)
As an 8-dimensional vector. am (m = 1 to 8) is a recognition result of the degree of probability that the detected vehicle is in the state Sn (n = 1 to 8) shown in FIG.

例えば、状態認識機能部２２は、フレーム画像上における車両が状態Ｓ１であり、他の状態Ｓ２〜Ｓ８でないことを認識した場合、フレーム画像上における車両の状態ベクトルｓとして、
ｓ＝（１，０，０，０，０，０，０，０）
の８次元のベクトルを生成する。また、状態認識機能部２２は、フレーム画像上における車両が状態Ｓ３〜Ｓ８でないことを認識できたが、状態Ｓ１であるか状態Ｓ２であるかの認識ができなかった場合（状態Ｓ１、と状態Ｓ２の確からしさが同じである場合、）、フレーム画像上における車両の状態ベクトルｓとして、
ｓ＝（１，１，０，０，０，０，０，０）
の８次元のベクトルを生成する。さらに、状態認識機能部２２は、フレーム画像上における車両が状態Ｓ１〜Ｓ８のいずれであるか認識できなかった場合（状態Ｓ１〜状態Ｓ８の確からしさが同じ場合、）、フレーム画像上における車両の状態ベクトルｓとして、
ｓ＝（１，１，１，１，１，１，１，１）
の８次元のベクトルを生成する。 For example, when the state recognition function unit 22 recognizes that the vehicle on the frame image is in the state S1 and not the other states S2 to S8, as the vehicle state vector s on the frame image,
s = (1, 0, 0, 0, 0, 0, 0, 0)
To generate an eight-dimensional vector. In addition, the state recognition function unit 22 can recognize that the vehicle on the frame image is not in the states S3 to S8, but cannot recognize whether the vehicle is in the state S1 or the state S2 (the state S1 and the state). When the probability of S2 is the same), as the vehicle state vector s on the frame image,
s = (1,1,0,0,0,0,0,0)
To generate an eight-dimensional vector. Furthermore, when the state recognition function unit 22 cannot recognize which of the states S1 to S8 the vehicle on the frame image is (if the probability of the states S1 to S8 is the same), the state recognition function unit 22 As the state vector s,
s = (1,1,1,1,1,1,1,1,1)
To generate an eight-dimensional vector.

状態認識機能部２２は、フレーム画像に撮像されている車両の特徴から状態ベクトルｓを認識してもよいし、当該車両についてすでに認識した状態ベクトルｓを用いて、今回のフレーム画像における状態ベクトルｓを認識してもよい。状態認識機能部２２が、この発明で言う状態認識部に相当する。   The state recognition function unit 22 may recognize the state vector s from the characteristics of the vehicle imaged in the frame image, or the state vector s in the current frame image using the state vector s already recognized for the vehicle. May be recognized. The state recognition function unit 22 corresponds to the state recognition unit referred to in the present invention.

なお、状態認識機能部２２は、８次元ベクトルの各要素値の総和が１になるように、フレーム画像上における車両の状態ベクトルｓを生成してもよい。すなわち、状態認識機能部２２は、各要素値を対応する状態Ｓである確率として算出してもよい。   Note that the state recognition function unit 22 may generate the vehicle state vector s on the frame image so that the sum of the element values of the 8-dimensional vector is 1. That is, the state recognizing function unit 22 may calculate each element value as a probability of being in the corresponding state S.

状態遷移予測機能部２３は、カメラ１０があるタイミングで撮像したフレーム画像における車両の状態Ｓ’を、状態認識機能部２２がそれ以前に撮像したフレーム画像を処理して生成した車両の状態ベクトルｓと、状態遷移パラメータ記憶部５に記憶している状態遷移パラメータＴと、を用いて予測する。具体的には、後述する同定機能部２４が、撮像されている車両を同定する２つのフレーム画像であって、先に撮像されたフレーム画像を処理して生成した車両の状態ベクトルｓと、状態遷移パラメータ記憶部５に記憶している状態遷移パラメータＴと、を用いて、後に撮像されたフレーム画像における車両の状態Ｓ’を予測する。   The state transition prediction function unit 23 generates a vehicle state vector s generated by processing a frame image previously captured by the state recognition function unit 22 and a vehicle state S ′ in a frame image captured by the camera 10 at a certain timing. And the state transition parameter T stored in the state transition parameter storage unit 5 for prediction. Specifically, the identification function unit 24, which will be described later, is two frame images for identifying the imaged vehicle, the vehicle state vector s generated by processing the previously captured frame image, and the state By using the state transition parameter T stored in the transition parameter storage unit 5, the state S ′ of the vehicle in a frame image captured later is predicted.

状態遷移予測機能部２３は、後に撮像されたフレーム画像における車両の各状態Ｓ１〜Ｓ８について、その確からしさの度合いｓ’を算出する。この例では、
ｓ’＝Ｒ・Ｔ・ｓ
により算出する。ここでＲは、状態遷移パラメータＴと同じ、ｎ行ｎ列の正方行列である。行列Ｒは、例えば、対角成分がその時点における車両の状態Ｓの確からしさの度合い（ａ１〜ａ８）であり、その他の成分が０である。 The state transition prediction function unit 23 calculates the degree of probability s ′ of each state S1 to S8 of the vehicle in the frame image captured later. In this example,
s' = R / T / s
Calculated by Here, R is the same n-by-n square matrix as the state transition parameter T. In the matrix R, for example, the diagonal component is the degree of likelihood (a1 to a8) of the state S of the vehicle at that time, and the other components are zero.

なお、状態遷移予測機能部２３は、行列Ｒを用いずに、
ｓ’＝Ｔ・ｓ
により算出する構成であってもよい。 The state transition prediction function unit 23 does not use the matrix R,
s ′ = T · s
The configuration may be calculated by the following.

上記式で算出されたｓ’は、８次元のベクトルである。状態遷移予測機能部２３は、上記式で算出したｓ’において、確からしさの度合いが最大である状態Ｓを、後に撮像されたフレーム画像における車両の状態Ｓ’であると予測する。状態遷移予測機能部２３が、この発明で言う状態遷移予測部に相当する。   S ′ calculated by the above equation is an 8-dimensional vector. The state transition prediction function unit 23 predicts that the state S having the highest degree of certainty in s ′ calculated by the above equation is the vehicle state S ′ in the frame image captured later. The state transition prediction function unit 23 corresponds to the state transition prediction unit referred to in the present invention.

同定機能部２４は、状態遷移予測機能部２３によって予測された車両の状態Ｓ’に応じて、フレーム間における車両の同定を行う。図３は、フレーム画像間での車両の同定を説明する図である。図３（Ａ）は、従来のフレーム画像間での車両の同定を示し、図３（Ｂ）は、この例にかかるフレーム画像間で車両の同定を示す。図３（Ａ）、（Ｂ）は、説明をわかりやすくするため、カメラ１０がタイミングｔ０、ｔ１、およびｔ２（時間の経過は、ｔ０、ｔ１、ｔ２の順番である。）で撮像したフレーム画像に撮像された同一車両（追跡している車両）を示している。車両は、図中に矢示する方向に移動している。   The identification function unit 24 performs vehicle identification between frames in accordance with the vehicle state S ′ predicted by the state transition prediction function unit 23. FIG. 3 is a diagram illustrating vehicle identification between frame images. FIG. 3A shows identification of a vehicle between conventional frame images, and FIG. 3B shows identification of a vehicle between frame images according to this example. FIGS. 3A and 3B are frame images taken by the camera 10 at timings t0, t1, and t2 (the passage of time is the order of t0, t1, and t2) for easy understanding. The same vehicle (vehicle being tracked) imaged in FIG. The vehicle is moving in the direction indicated by the arrow in the figure.

図３（Ａ）に示す従来の方式は、車両の移動ベクトルのみで追跡している車両を探索する探索領域５１、５２を決定する構成である。探索領域５１は、カメラ１０がタイミングｔ１で撮像したフレーム画像に対して追跡している車両を探索する領域であり、探索領域５２は、カメラ１０がタイミングｔ２で撮像したフレーム画像に対して追跡している車両を探索する領域である。図３（Ａ）に示すように、車両の向き（状態）が変化し、当該車両の走行方向が変化すると、カメラ１０がタイミングｔ２で撮像したフレーム画像では、追跡している車両が探索領域５２内に位置しない。このため、カメラ１０がタイミングｔ１で撮像したフレーム画像と、カメラ１０がタイミングｔ２で撮像したフレーム画像との間で、追跡している車両を同定することができず、追跡に失敗する。   The conventional method shown in FIG. 3A is a configuration for determining search areas 51 and 52 for searching for a vehicle that is being tracked using only the movement vector of the vehicle. The search area 51 is an area for searching for a vehicle being tracked with respect to the frame image captured by the camera 10 at the timing t1, and the search area 52 is tracked with respect to the frame image captured at the timing t2. This is an area for searching for a vehicle. As shown in FIG. 3A, when the direction (state) of the vehicle changes and the traveling direction of the vehicle changes, in the frame image captured by the camera 10 at timing t2, the vehicle being tracked is searched for in the search area 52. Not located within. For this reason, the vehicle being tracked cannot be identified between the frame image captured by the camera 10 at the timing t1 and the frame image captured by the camera 10 at the timing t2, and the tracking fails.

この例にかかる画像処理装置１は、車両の移動ベクトルだけでなく、予測した車両の状態の遷移に基づいて、追跡している車両の探索領域６１、６２を決定する。探索領域６１は、カメラ１０がタイミングｔ１で撮像したフレーム画像に対して追跡している車両を探索する領域であり、探索領域６２は、カメラ１０がタイミングｔ２で撮像したフレーム画像に対して追跡している車両を探索する領域である。図３（Ｂ）に示すように、探索領域６２は、車両の向き（状態）が左向きに変化することを予測したことにより、図３（Ａ）に示した領域５２比べて、左側に広げている。このため、カメラ１０がタイミングｔ１で撮像したフレーム画像と、カメラ１０がタイミングｔ２で撮像したフレーム画像との間においても、車両を同定することができ、追跡に失敗するのを抑制できる。   The image processing apparatus 1 according to this example determines the search areas 61 and 62 of the vehicle being tracked based on not only the vehicle movement vector but also the predicted vehicle state transition. The search area 61 is an area for searching for a vehicle tracked with respect to the frame image captured by the camera 10 at timing t1, and the search area 62 is tracked with respect to the frame image captured by the camera 10 at timing t2. This is an area for searching for a vehicle. As shown in FIG. 3 (B), the search area 62 is expanded to the left as compared with the area 52 shown in FIG. 3 (A) by predicting that the direction (state) of the vehicle changes to the left. Yes. For this reason, a vehicle can be identified also between the frame image which the camera 10 imaged at the timing t1, and the frame image which the camera 10 imaged at the timing t2, and it can suppress that tracking fails.

また、同定機能部２４は、予測した車両の向き（状態）を考慮して、フレーム画像間で同定する。具体的には、同定機能部２４は、領域６２内に位置する車両であっても、予測した車両の向き、またはこの向きに隣接する向きでなければ、同定しない。これにより、フレーム画像間で、異なる車両を同定して、追跡に失敗するのを抑制できる。   Further, the identification function unit 24 identifies between the frame images in consideration of the predicted direction (state) of the vehicle. Specifically, even if the identification function unit 24 is a vehicle located in the region 62, the identification function unit 24 does not identify the vehicle unless it is the predicted vehicle direction or a direction adjacent to this direction. Thereby, it can suppress that a different vehicle is identified between frame images and tracking fails.

また、同定機能部２４は、対象エリア内で追跡した車両について、フレーム間で同定した同定結果に基づきオブジェクトマップを作成する。図４は、同定機能部が生成するオブジェクトマップを示す図である。オブジェクトマップは、対象エリア内で追跡した車両毎に作成される。ＩＤは、追跡した車両に割り振ったＩＤである。図４に示すように、オブジェクトマップは、その車両が検出されたフレーム画像毎に、撮像時刻と、フレーム画像上（または実空間上）の位置と、車両の状態Ｓと、状態ベクトルｓと、を対応付けて登録したものである。   Moreover, the identification function part 24 produces an object map based on the identification result identified between frames about the vehicle tracked within the target area. FIG. 4 is a diagram illustrating an object map generated by the identification function unit. An object map is created for each vehicle tracked in the target area. The ID is an ID assigned to the tracked vehicle. As shown in FIG. 4, the object map includes, for each frame image in which the vehicle is detected, an imaging time, a position on the frame image (or real space), a vehicle state S, a state vector s, Are registered in association with each other.

出力部４は、上述したように、同定機能部２４によって生成されたオブジェクトマップを上位装置に出力する。   As described above, the output unit 4 outputs the object map generated by the identification function unit 24 to the host device.

以下、この例にかかる画像処理装置の動作について説明する。図５は、この例にかかる画像処理装置の動作を示すフローチャートである。画像処理装置１は、処理対象フレーム画像を選択する（ｓｔ１）。ｓｔ１では、画像入力部３に入力されたフレーム画像であって、直前に選択した処理対象フレーム画像からｎフレーム後（ｎは、１以上の整数）のフレーム画像を処理対象フレーム画像として選択する。すなわち、画像処理装置１は、カメラ１０が撮像し、画像入力部３に入力されたフレーム画像を順番に処理してもよいし、予め定めたフレーム間隔で抽出したフレーム画像のみを処理してもよい。   The operation of the image processing apparatus according to this example will be described below. FIG. 5 is a flowchart showing the operation of the image processing apparatus according to this example. The image processing apparatus 1 selects a processing target frame image (st1). In st1, a frame image that is input to the image input unit 3 and that is n frames after the immediately preceding processing target frame image (n is an integer of 1 or more) is selected as the processing target frame image. That is, the image processing apparatus 1 may process the frame images captured by the camera 10 and input to the image input unit 3 in order, or may process only the frame images extracted at a predetermined frame interval. Good.

画像処理装置１は、オブジェクト検出機能部２１がｓｔ１で選択した処理対象フレーム画像に撮像されている車両を検出する車両検出処理を行う（ｓｔ２）。ｓｔ２では、上述したように、背景差分等の公知の手法で、処理対象フレーム画像に撮像されている車両を検出する。   The image processing apparatus 1 performs a vehicle detection process for detecting the vehicle imaged in the processing target frame image selected by the object detection function unit 21 in st1 (st2). In st2, as described above, the vehicle imaged in the processing target frame image is detected by a known method such as background difference.

画像処理装置１は、状態認識機能部２２がｓｔ２で検出した車両毎に、車両の状態ベクトルｓを認識する（ｓｔ３）。車両の状態ベクトルｓは、上述したように、この例では８次元のベクトルであり、車両が図２に示した状態Ｓｎ（ｎ＝１〜８）である確からしさの度合いの認識結果である。また、画像処理装置１は、状態遷移予測機能部２３が、状態認識機能部２２がｓｔ２で検出した車両について遷移する状態Ｓ’を予測する（ｓｔ４）。ｓｔ４では、次に選択する処理対象フレームにおける車両の状態Ｓ’を予測している。   The image processing apparatus 1 recognizes the vehicle state vector s for each vehicle detected by the state recognition function unit 22 in st2 (st3). As described above, the vehicle state vector s is an 8-dimensional vector in this example, and is a recognition result of the degree of probability that the vehicle is in the state Sn (n = 1 to 8) shown in FIG. Further, in the image processing device 1, the state transition prediction function unit 23 predicts the state S 'that the state recognition function unit 22 detects for the vehicle detected in st2 (st4). In st4, the vehicle state S 'in the processing target frame to be selected next is predicted.

画像処理装置１は、同定機能部２４が前回の処理対象フレーム画像に対する上述のｓｔ３、およびｓｔ４で認識した車両の状態Ｓと、予測した車両の状態Ｓ’とに基づいて、今回の処理対象フレーム画像に対する車両の探索領域を決定する（ｓｔ５）。同定機能部２４は、ｓｔ３で認識した車両の状態Ｓと、ｓｔ４で予測した車両の状態Ｓ’とが同じであるかどうかを判定する。同定機能部２４は、ｓｔ３で認識した車両の状態Ｓと、ｓｔ４で予測した車両の状態Ｓ’とが同じであれば、追跡している車両の移動ベクトルに基づいて探索領域を決定する。また、同定機能部２４は、ｓｔ３で認識した車両の状態Ｓと、ｓｔ４で予測した車両の状態Ｓ’とが同じでなければ、まず追跡している車両の移動ベクトルに基づいて探索領域を仮決定し、仮決定した探索領域を状態Ｓから状態Ｓ’の変化に応じた方向に広げた領域を探索領域に決定する。   The image processing apparatus 1 determines the current processing target frame based on the vehicle state S recognized by the identification function unit 24 in the above-described st3 and st4 with respect to the previous processing target frame image and the predicted vehicle state S ′. A vehicle search area for the image is determined (st5). The identification function unit 24 determines whether or not the vehicle state S recognized in st3 and the vehicle state S ′ predicted in st4 are the same. If the vehicle state S recognized in st3 and the vehicle state S ′ predicted in st4 are the same, the identification function unit 24 determines a search region based on the movement vector of the vehicle being tracked. In addition, if the vehicle state S recognized in st3 and the vehicle state S ′ predicted in st4 are not the same, the identification function unit 24 first determines a search area based on the movement vector of the vehicle being tracked. An area obtained by expanding the provisionally determined search area in the direction corresponding to the change from the state S to the state S ′ is determined as the search area.

画像処理装置１は、同定機能部２４が、追跡している車両を、前回の処理対象フレーム画像と、今回の処理対象フレーム画像との間で同定する同定処理を行い（ｓｔ６）、ｓｔ１に戻る。ｓｔ６では、追跡している車両を、今回の処理対象フレーム画像に撮像されている車両であって、ｓ５で決定した探索領域内に位置する車両と同定する。また、同定機能部２４が、追跡している車両を、ｓ５で決定した探索領域内に位置する車両であっても、前回の処理対象フレーム画像に対するｓｔ４で予測した車両の状態Ｓ’、またはこの予測した状態Ｓ’に隣接する状態でない車両については、同定しない。   The image processing apparatus 1 performs an identification process in which the identification function unit 24 identifies the tracked vehicle between the previous processing target frame image and the current processing target frame image (st6), and returns to st1. . In st6, the vehicle being tracked is identified as the vehicle imaged in the current processing target frame image and located in the search area determined in s5. Moreover, even if the identification function unit 24 is a vehicle that is located in the search area determined in s5, the vehicle state S ′ predicted in st4 with respect to the previous processing target frame image, or this A vehicle that is not in a state adjacent to the predicted state S ′ is not identified.

したがって、この例にかかる画像処理装置１は、追跡対象である車両の状態（向き）の変化による影響を抑え、フレーム画像間での車両の同定精度の向上が図れる。   Therefore, the image processing apparatus 1 according to this example can suppress the influence due to the change in the state (orientation) of the vehicle that is the tracking target, and can improve the vehicle identification accuracy between the frame images.

また、上記の例では、追跡対象であるオブジェクトが車両であるとしたが、追跡対象であるオブジェクトは、人であってもよいし、その他の移動体であってもよい。また、車両の向きを状態とし、その遷移を判断するとしたが、追跡対象であるオブジェクトが人である場合には、向きだけでなく、姿勢等も判断する状態に加えてもよい。   In the above example, the object to be tracked is a vehicle, but the object to be tracked may be a person or other moving object. In addition, the direction of the vehicle is set as a state, and the transition is determined. However, when the object to be tracked is a person, not only the direction but also the posture and the like may be determined.

また、状態遷移パラメータＴは、ＡＩ（Artificial Intelligence）を用いて、更新する構成にしてもよい。   The state transition parameter T may be updated using AI (Artificial Intelligence).

１…画像処理装置
２…制御部
３…画像入力部
４…出力部
５…状態遷移パラメータ記憶部
１０…カメラ
２１…オブジェクト検出機能部
２２…状態認識機能部
２３…状態遷移予測機能部
２４…同定機能部
５１、５２、６１、６２…探索領域 DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus 2 ... Control part 3 ... Image input part 4 ... Output part 5 ... State transition parameter memory | storage part 10 ... Camera 21 ... Object detection function part 22 ... State recognition function part 23 ... State transition prediction function part 24 ... Identification Function part 51, 52, 61, 62 ... Search area

Claims (8)

対象エリアを撮像したフレーム画像が入力される画像入力部と、
前記画像入力部に入力されたフレーム画像を処理し、撮像されている対象オブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部が検出した前記対象オブジェクトをフレーム画像間で同定する同定部と、
前記オブジェクト検出部が検出した前記対象オブジェクトの状態を認識する状態認識部と、
前記対象オブジェクトが遷移する状態を予測する状態遷移予測部と、を備え、
前記同定部は、フレーム画像間での前記対象オブジェクトの同定を、前記状態認識部が認識した前記対象オブジェクトの状態と、前記状態遷移予測部が予測した前記対象オブジェクトが遷移する状態とに応じて行う、画像処理装置。 An image input unit for inputting a frame image obtained by imaging the target area;
An object detection unit that processes a frame image input to the image input unit and detects a captured target object;
An identification unit for identifying the target object detected by the object detection unit between frame images;
A state recognition unit for recognizing the state of the target object detected by the object detection unit;
A state transition prediction unit that predicts a state in which the target object transitions, and
The identification unit identifies the target object between frame images according to the state of the target object recognized by the state recognition unit and the state in which the target object predicted by the state transition prediction unit transitions. An image processing apparatus to perform. 前記状態認識部は、前記対象オブジェクトについて、予め定めた複数の状態別に、その状態である確からしさの度合いを認識する、請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the state recognizing unit recognizes a certainty degree of the state of the target object for each of a plurality of predetermined states. 前記対象オブジェクトについて、予め定めた複数の状態に属する２つの状態の組合せ毎に、一方の状態から他方の状態に遷移する度合いを示す状態遷移パラメータを記憶する記憶部を備え、
前記状態遷移予測部は、前記記憶部が記憶する前記状態遷移パラメータを用いて、前記対象オブジェクトが遷移する状態を予測する、請求項１、または２に記載の画像処理装置。 A storage unit that stores a state transition parameter indicating a degree of transition from one state to the other state for each combination of two states belonging to a plurality of predetermined states for the target object,
The image processing apparatus according to claim 1, wherein the state transition prediction unit predicts a state in which the target object transitions using the state transition parameter stored in the storage unit. 前記状態遷移予測部は、前記記憶部が記憶する前記状態遷移パラメータ、および前記状態認識部が認識した前記対象オブジェクトの状態を用いて、前記対象オブジェクトが遷移する状態を予測する、請求項３に記載の画像処理装置。   The state transition prediction unit predicts a state in which the target object transitions using the state transition parameter stored in the storage unit and the state of the target object recognized by the state recognition unit. The image processing apparatus described. 前記同定部は、前記対象オブジェクトを同定するフレーム画像であって、先に撮像された一方のフレーム画像に対して、前記状態認識部が認識した前記対象オブジェクトの状態と前記状態遷移予測部が予測した前記対象オブジェクトの遷移する状態とに応じて、後に撮像された他方のフレーム画像上において同定する前記対象オブジェクトを探索する領域を決定する、請求項１〜４のいずれかに記載の画像処理装置。   The identification unit is a frame image that identifies the target object, and the state of the target object recognized by the state recognition unit and the state transition prediction unit predict one frame image captured earlier. The image processing apparatus according to claim 1, wherein an area for searching for the target object to be identified on the other frame image captured later is determined in accordance with the transition state of the target object. . 前記対象オブジェクトの状態は、前記対象オブジェクトの向きである、請求項１〜５のいずれかに記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the state of the target object is a direction of the target object. 画像入力部に入力された、対象エリアを撮像したフレーム画像を処理し、撮像されている対象オブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップで検出した前記対象オブジェクトをフレーム画像間で同定する同定ステップと、
前記オブジェクト検出ステップで検出した前記対象オブジェクトの状態を認識する状態認識ステップと、
前記対象オブジェクトが遷移する状態を予測する状態遷移予測ステップと、をコンピュータが実行する追跡方法であって、
前記同定ステップは、フレーム画像間での前記対象オブジェクトの同定を、前記状態認識ステップで認識した前記対象オブジェクトの状態と、前記状態遷移予測ステップで予測した前記対象オブジェクトが遷移する状態とに応じて行う、追跡方法。 An object detection step of processing a frame image obtained by imaging the target area, which is input to the image input unit, and detecting a target object being imaged;
An identification step for identifying the target object detected in the object detection step between frame images;
A state recognition step for recognizing the state of the target object detected in the object detection step;
A state transition prediction step for predicting a state in which the target object transitions, and a tracking method in which a computer executes the method,
In the identification step, the identification of the target object between frame images is determined according to the state of the target object recognized in the state recognition step and the state in which the target object predicted in the state transition prediction step transitions. Do the tracking method. 画像入力部に入力された、対象エリアを撮像したフレーム画像を処理し、撮像されている対象オブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップで検出した前記対象オブジェクトをフレーム画像間で同定する同定ステップと、
前記オブジェクト検出ステップで検出した前記対象オブジェクトの状態を認識する状態認識ステップと、
前記対象オブジェクトが遷移する状態を予測する状態遷移予測ステップと、をコンピュータに実行させる追跡プログラムであって、
前記同定ステップは、フレーム画像間での前記対象オブジェクトの同定を、前記状態認識ステップで認識した前記対象オブジェクトの状態と、前記状態遷移予測ステップで予測した前記対象オブジェクトが遷移する状態とに応じて行う、追跡プログラム。 An object detection step of processing a frame image obtained by imaging the target area, which is input to the image input unit, and detecting a target object being imaged;
An identification step for identifying the target object detected in the object detection step between frame images;
A state recognition step for recognizing the state of the target object detected in the object detection step;
A state transition prediction step for predicting a state in which the target object transitions, and a tracking program for causing a computer to execute the state transition prediction step,
In the identification step, the identification of the target object between frame images is determined according to the state of the target object recognized in the state recognition step and the state in which the target object predicted in the state transition prediction step transitions. Do a tracking program.
JP2017043036A 2017-03-07 2017-03-07 Image processing apparatus, tracking method, and tracking program Pending JP2018147311A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017043036A JP2018147311A (en) 2017-03-07 2017-03-07 Image processing apparatus, tracking method, and tracking program
PCT/JP2017/041246 WO2018163515A1 (en) 2017-03-07 2017-11-16 Image processing device, tracking method, and tracking program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017043036A JP2018147311A (en) 2017-03-07 2017-03-07 Image processing apparatus, tracking method, and tracking program

Publications (1)

Publication Number Publication Date
JP2018147311A true JP2018147311A (en) 2018-09-20

Family

ID=63447433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017043036A Pending JP2018147311A (en) 2017-03-07 2017-03-07 Image processing apparatus, tracking method, and tracking program

Country Status (2)

Country Link
JP (1) JP2018147311A (en)
WO (1) WO2018163515A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213182A (en) * 2006-02-08 2007-08-23 Fujifilm Corp Object status recognition method, device, and program
WO2008007471A1 (en) * 2006-07-10 2008-01-17 Kyoto University Walker tracking method and walker tracking device
JP2009015558A (en) * 2007-07-04 2009-01-22 Nippon Telegr & Teleph Corp <Ntt> Attitude estimation device and method
JP2009026146A (en) * 2007-07-20 2009-02-05 Canon Inc Image processing apparatus and image processing method
JP2012003720A (en) * 2010-06-21 2012-01-05 Nippon Telegr & Teleph Corp <Ntt> State estimation device, state estimation method, and program
JP2014081743A (en) * 2012-10-15 2014-05-08 Canon Inc Information processor and information processing method and pattern recognition device
JP2015138460A (en) * 2014-01-23 2015-07-30 富士通株式会社 state recognition method and state recognition device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213182A (en) * 2006-02-08 2007-08-23 Fujifilm Corp Object status recognition method, device, and program
WO2008007471A1 (en) * 2006-07-10 2008-01-17 Kyoto University Walker tracking method and walker tracking device
JP2009015558A (en) * 2007-07-04 2009-01-22 Nippon Telegr & Teleph Corp <Ntt> Attitude estimation device and method
JP2009026146A (en) * 2007-07-20 2009-02-05 Canon Inc Image processing apparatus and image processing method
JP2012003720A (en) * 2010-06-21 2012-01-05 Nippon Telegr & Teleph Corp <Ntt> State estimation device, state estimation method, and program
JP2014081743A (en) * 2012-10-15 2014-05-08 Canon Inc Information processor and information processing method and pattern recognition device
JP2015138460A (en) * 2014-01-23 2015-07-30 富士通株式会社 state recognition method and state recognition device

Also Published As

Publication number Publication date
WO2018163515A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
US10572736B2 (en) Image processing apparatus, image processing system, method for image processing, and computer program
JP5115556B2 (en) Object region detection apparatus, object region detection system, object region detection method, and program
JP6141079B2 (en) Image processing system, image processing apparatus, control method therefor, and program
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
JP5166102B2 (en) Image processing apparatus and method
US10353954B2 (en) Information processing apparatus, method of controlling the same, and storage medium
WO2013145948A1 (en) Object detection device
US10762133B2 (en) Information processing apparatus, method of controlling the same, and storage medium
US10474884B2 (en) Action determination device
JP2021022315A (en) Image processing apparatus, image processing method, and program
JPWO2018235219A1 (en) Self-location estimation method, self-location estimation device, and self-location estimation program
JP6953818B2 (en) Operation judgment device
US11948312B2 (en) Object detection/tracking device, method, and program recording medium
JP2018025988A (en) Image processing program, image processing method and image processing device
JP6613976B2 (en) Imaging control program, imaging control method, and imaging control apparatus
US11394870B2 (en) Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
JP2012181710A (en) Object tracking device, method and program
JP2019194758A (en) Information processing device, information processing method, and program
US20200104577A1 (en) Information processing apparatus, authentication system, method of controlling same, and medium
US20210390712A1 (en) Image processing apparatus, image processing method, and storage medium
JP2007510994A (en) Object tracking in video images
WO2018163515A1 (en) Image processing device, tracking method, and tracking program
WO2009096208A1 (en) Object recognition system, object recognition method, and object recognition program
JP6787075B2 (en) Image processing system, image processing device and image processing method
JP2011009893A (en) Follow object detecting apparatus, follow object detection method and follow object detection program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220412