KR20210114728A - Pixel Level Video Object Tracking Apparatus Using Box Level Object Position Information - Google Patents
Pixel Level Video Object Tracking Apparatus Using Box Level Object Position Information Download PDFInfo
- Publication number
- KR20210114728A KR20210114728A KR1020200030214A KR20200030214A KR20210114728A KR 20210114728 A KR20210114728 A KR 20210114728A KR 1020200030214 A KR1020200030214 A KR 1020200030214A KR 20200030214 A KR20200030214 A KR 20200030214A KR 20210114728 A KR20210114728 A KR 20210114728A
- Authority
- KR
- South Korea
- Prior art keywords
- level
- pixel
- position information
- model
- video
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 239000000284 extract Substances 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 11
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명이 속하는 기술 분야는 동영상 객체 추적 장치에 관한 것이다.The technical field to which the present invention pertains relates to a moving image object tracking device.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present embodiment and does not constitute the prior art.
기존의 동영상 객체 추적 방식은 크게 두 가지가 있다. 첫번째 프레임에서 박스 레벨 수준으로 주어진 객체의 위치 정보를 사용하여 객체의 이동을 추적하는 방법으로 박스 레벨의 수준으로만 추적하는 방식이 있고, 픽셀 레벨의 수준으로 객체 영역을 입력받고 픽셀 레벨의 수준으로 객체를 추적하는 방식이 있다. There are two main methods of tracking a video object in the past. There is a method of tracking the movement of an object using the position information of the object given at the box level in the first frame, and there is a method of tracking only at the level of the box level. There are ways to keep track of objects.
픽셀 레벨의 수준으로 객체의 이동을 추적하기 위해선 첫번째 프레임에서 픽셀 레벨의 객체 정보를 입력하는데, 픽셀 레벨의 객체의 위치를 수동으로 나타내기 위해선 엄청난 노동력을 필요로 한다.In order to track the movement of an object at the pixel level, the pixel level object information is input in the first frame, but it requires a lot of labor to manually indicate the position of the pixel level object.
본 발명의 실시예들은 핵심 객체 검출(SOD) 모델과 동영상 객체 분할(VOS) 모델을 결합한 동영상 객체 추적 모델로, 핵심 객체 검출(SOD) 모델을 통해 후보 객체의 픽셀 영역을 설정하고 경계 박스를 이용하여 후보 객체의 픽셀 영역을 필터링하는 방식으로 픽셀 레벨 단위로 동영상의 객체를 추적하는 모델의 초기 정보를 설정하여, 경계 박스의 내부에 존재하는 객체 영역에 대한 픽셀 레벨 단위로 객체 영역을 정확하게 추적하는 데 주된 목적이 있다.Embodiments of the present invention are a video object tracking model combining a core object detection (SOD) model and a video object segmentation (VOS) model, and set the pixel area of a candidate object through the core object detection (SOD) model and use a bounding box By setting the initial information of the model that tracks the object of the video by pixel level in a way that filters the pixel area of the candidate object by has the main purpose of
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified in the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.
본 실시예의 일 측면에 의하면, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 동영상 객체 추적 장치에 있어서, 상기 프로세서는 기준 프레임로부터 핵심 객체 검출(Salient Object Detection, SOD) 모델을 통해 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추출하고, 상기 프로세서는 상기 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보 중에서 대상 객체에 대한 경계 레벨의 위치 정보를 기준으로 상기 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보로 변환하고, 상기 프로세서는 복수의 프레임에 대해서 동영상 객체 분할(Video Object Segmentation, VOS) 모델을 통해 상기 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추적하는 것을 특징으로 하는 동영상 객체 추적 장치를 제공한다.According to an aspect of this embodiment, in the moving image object tracking device including one or more processors and a memory for storing one or more programs executed by the one or more processors, the processor detects a core object from a reference frame (Salient Object Detection) , SOD) extracts pixel-level position information for the entire area of the candidate object through the model, and the processor is based on the boundary-level position information for the target object among the pixel-level position information for the entire region of the candidate object converts it into pixel-level position information for the entire area of the target object, and the processor uses a video object segmentation (VOS) model for a plurality of frames at the pixel level for the entire area of the target object. It provides a video object tracking device, characterized in that for tracking location information.
상기 경계 레벨은 바운딩 박스로 설정되며, 상기 경계 레벨의 위치 정보는 상기 바운딩 박스에서 대각에 위치하는 2 개의 지점을 포함할 수 있다.The boundary level may be set as a bounding box, and the position information of the boundary level may include two points located diagonally in the bounding box.
상기 핵심 객체 검출 모델은 핵심 객체 맵을 출력할 수 있다.The core object detection model may output a core object map.
상기 프로세서는 상기 핵심 객체 맵에 대해서 상기 경계 레벨의 외부에 존재하는 후보 객체를 필터링할 수 있다.The processor may filter candidate objects existing outside the boundary level with respect to the core object map.
상기 프로세서는 상기 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 상기 후보 객체의 크기 및 위치를 기준으로 하나의 객체를 선택할 수 있다.When a plurality of candidate objects exist within the boundary level, the processor may select one object based on the size and location of the candidate object.
상기 프로세서는 상기 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 상기 복수의 프레임을 시간 순서의 정방향 또는 역방향으로 이동하여 상기 경계 레벨의 내부에 하나의 객체가 존재하는 프레임을 선별하고 상기 기준 프레임으로 설정할 수 있다.If there are a plurality of candidate objects existing inside the boundary level, the processor moves the plurality of frames in a forward or reverse direction in time order to select a frame in which one object exists inside the boundary level, and selects the frame of the reference frame. can be set to
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 핵심 객체 검출(SOD) 모델과 동영상 객체 분할(VOS) 모델을 결합한 동영상 객체 추적 모델로, 핵심 객체 검출(SOD) 모델을 통해 후보 객체의 픽셀 영역을 설정하고 경계 박스를 이용하여 후보 객체의 픽셀 영역을 필터링하는 방식으로 픽셀 레벨 단위로 동영상의 객체를 추적하는 모델의 초기 정보를 설정하여, 경계 박스의 내부에 존재하는 객체 영역에 대한 픽셀 레벨 단위로 객체 영역을 정확하게 추적할 수 있는 효과가 있다.As described above, according to the embodiments of the present invention, it is a video object tracking model that combines a core object detection (SOD) model and a video object segmentation (VOS) model, and a pixel of a candidate object through a core object detection (SOD) model By setting the area and filtering the pixel area of the candidate object using the bounding box, the initial information of the model tracking the object of the video is set in units of pixel level, and the pixel level of the object area existing inside the bounding box is set. It has the effect of accurately tracking the object area in units.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if it is an effect not explicitly mentioned herein, the effects described in the following specification expected by the technical features of the present invention and their potential effects are treated as if they were described in the specification of the present invention.
도 1은 본 발명의 일 실시예에 따른 동영상 객체 추적 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 객체 추적 장치의 동작을 예시한 흐름도이다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 동영상 객체 추적 장치의 동영상 객체 추적 모델을 예시한 도면이다.
도 8 내지 도 10은 본 발명의 실시예들에 따라 수행된 모의실험 결과를 도시한 것이다.1 is a block diagram illustrating an apparatus for tracking a video object according to an embodiment of the present invention.
2 is a flowchart illustrating an operation of a video object tracking apparatus according to an embodiment of the present invention.
3 to 7 are diagrams illustrating a video object tracking model of the video object tracking apparatus according to an embodiment of the present invention.
8 to 10 show simulation results performed according to embodiments of the present invention.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.Hereinafter, in the description of the present invention, if it is determined that the subject matter of the present invention may be unnecessarily obscured as it is obvious to those skilled in the art with respect to related known functions, the detailed description thereof will be omitted, and some embodiments of the present invention will be described. It will be described in detail with reference to exemplary drawings.
기존의 동영상 객체 추적 방식은 첫번째 프레임에서 박스 레벨로 객체의 위치가 주어지면 박스 레벨로만 추적이 가능하고, 첫번째 프레임에서 픽셀 레벨로 객체의 위치가 주어지면 픽셀 레벨로만 추적이 가능하다. In the existing video object tracking method, if the position of the object is given from the first frame to the box level, tracking is possible only at the box level, and if the position of the object is given from the first frame to the pixel level, tracking is possible only at the pixel level.
픽셀 레벨로 객체의 위치를 표현하기 위해선 많은 노동력이 필요하지만 박스 레벨로 객체의 위치를 표현하는 것은 상대적으로 용이하다.It takes a lot of labor to express the position of an object at the pixel level, but it is relatively easy to express the position of the object at the box level.
본 실시예에 따른 동영상 객체 추적 장치는 동영상에서 추적하려는 객체의 정보를 기준 프레임에서 박스 레벨로 주어지면, 기준 프레임에 대한 픽셀 레벨을 추적 모델에 제공하여 나머지 프레임에서 픽셀 레벨로 객체의 위치를 추적한다.The moving image object tracking apparatus according to this embodiment provides the pixel level for the reference frame to the tracking model when the information of the object to be tracked in the moving image is given at the box level in the reference frame to track the position of the object at the pixel level in the remaining frames. do.
본 실시예에 따른 동영상 객체 추적 장치는 핵심 객체 검출(SOD) 모델과 동영상 객체 분할(VOS) 모델을 결합한 동영상 객체 추적 모델로, 핵심 객체 검출(SOD) 모델을 통해 후보 객체의 픽셀 영역을 설정하고 경계 박스를 이용하여 후보 객체의 픽셀 영역을 필터링하는 방식으로 픽셀 레벨 단위로 동영상의 객체를 추적하는 모델의 초기 정보를 설정하여, 경계 박스의 내부에 존재하는 객체 영역에 대한 픽셀 레벨 단위로 객체 영역을 정확하게 추적한다.The video object tracking device according to this embodiment is a video object tracking model that combines a core object detection (SOD) model and a video object segmentation (VOS) model, and sets the pixel area of a candidate object through the core object detection (SOD) model, By setting the initial information of a model that tracks an object of a moving picture in units of pixel level by filtering the pixel region of a candidate object using a bounding box, the object region in a pixel level unit for an object region existing inside the bounding box accurately track
도 1은 본 발명의 일 실시예에 따른 동영상 객체 추적 장치를 예시한 블록도이다.1 is a block diagram illustrating an apparatus for tracking a video object according to an embodiment of the present invention.
동영상 객체 추적 장치(110)는 적어도 하나의 프로세서(120), 컴퓨터 판독 가능한 저장매체(130) 및 통신 버스(170)를 포함한다. The video object tracking device 110 includes at least one
프로세서(120)는 동영상 객체 추적 장치(110)로 동작하도록 제어할 수 있다. 예컨대, 프로세서(120)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(120)에 의해 실행되는 경우 동영상 객체 추적 장치(110)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The
컴퓨터 판독 가능한 저장 매체(130)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(140)은 프로세서(120)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 동영상 객체 추적 장치(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 130 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The
통신 버스(170)는 프로세서(120), 컴퓨터 판독 가능한 저장 매체(140)를 포함하여 동영상 객체 추적 장치(110)의 다른 다양한 컴포넌트들을 상호 연결한다.The
동영상 객체 추적 장치(110)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(150) 및 하나 이상의 통신 인터페이스(160)를 포함할 수 있다. 입출력 인터페이스(150) 및 통신 인터페이스(160)는 통신 버스(170)에 연결된다. 입출력 장치는 입출력 인터페이스(150)를 통해 동영상 객체 추적 장치(110)의 다른 컴포넌트들에 연결될 수 있다.The video object tracking device 110 may also include one or more input/output interfaces 150 and one or more communication interfaces 160 that provide interfaces for one or more input/output devices. The input/output interface 150 and the communication interface 160 are connected to the
동영상 객체 추적 장치(110)는 먼저 기준 프레임에서 주어진 박스 레벨의 객체 정보를 추적하고자 하는 객체의 위치 정보를 핵심 객체 검출 (Salient Object Detection, SOD) 모델을 통해 픽셀 레벨의 객체 위치 정보로 변환한다. 다음으로, 동영상 객체 분할(Video Object Segmentation, VOS) 모델을 통해 픽셀 레벨의 객체 이동 추적을 진행한다.The moving image object tracking apparatus 110 first converts the position information of the object to be tracked on the box-level object information given in the reference frame into the pixel-level object position information through a salient object detection (SOD) model. Next, pixel-level object movement tracking is performed through a video object segmentation (VOS) model.
도 2는 본 발명의 일 실시예에 따른 동영상 객체 추적 장치의 동작을 예시한 흐름도이다. 동영상 객체 추적 방법은 동영상 객체 추적 장치 또는 컴퓨팅 디바이스 등에 의해 수행될 수 있다.2 is a flowchart illustrating the operation of a video object tracking apparatus according to an embodiment of the present invention. The video object tracking method may be performed by a video object tracking apparatus or computing device.
단계 S210에서 프로세서는 기준 프레임로부터 핵심 객체 검출(Salient Object Detection, SOD) 모델을 통해 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추출한다.In step S210, the processor extracts pixel-level position information for the entire area of the candidate object through a salient object detection (SOD) model from the reference frame.
단계 S220에서 프로세서는 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보 중에서 대상 객체에 대한 경계 레벨의 위치 정보를 기준으로 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보로 변환한다. 경계 레벨은 바운딩 박스로 설정되며, 경계 레벨의 위치 정보는 바운딩 박스에서 대각에 위치하는 2 개의 지점을 포함한다.In step S220, the processor converts pixel-level position information for the entire region of the target object into pixel-level position information for the entire region of the target object based on boundary-level position information for the target object among pixel-level position information for the entire region of the candidate object. The boundary level is set by the bounding box, and the position information of the boundary level includes two points located diagonally in the bounding box.
픽셀 레벨의 위치 정보로 변환하는 단계(S220)에서 프로세서는 경계 레벨의 외부에 존재하는 후보 객체를 필터링할 수 있다. 프로세서는 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 후보 객체의 크기 및 위치를 기준으로 하나의 객체를 선택할 수 있다. 프로세서는 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 복수의 프레임을 시간 순서의 정방향 또는 역방향으로 이동하여 경계 레벨의 내부에 하나의 객체가 존재하는 프레임을 선별하고 기준 프레임으로 설정할 수 있다.In step S220 of converting the pixel level position information, the processor may filter the candidate objects existing outside the boundary level. If a plurality of candidate objects exist inside the boundary level, the processor may select one object based on the size and location of the candidate object. If there are a plurality of candidate objects existing inside the boundary level, the processor may move the plurality of frames in a forward or reverse direction in time order to select a frame in which one object exists inside the boundary level and set it as a reference frame.
단계 S230에서 프로세서는 복수의 프레임에 대해서 동영상 객체 분할(Video Object Segmentation, VOS) 모델을 통해 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추적한다.In step S230, the processor tracks pixel-level position information for the entire area of the target object through a video object segmentation (VOS) model for a plurality of frames.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 동영상 객체 추적 장치의 동영상 객체 추적 모델을 예시한 도면이다.3 to 7 are diagrams illustrating a video object tracking model of the video object tracking apparatus according to an embodiment of the present invention.
도 3을 참조하면, 동영상 객체 추적 장치는 핵심 객체 검출(Salient Object Detection, SOD) 모델 및 동영상 객체 분할(Video Object Segmentation, VOS) 모델을 포함할 수 있다.Referring to FIG. 3 , the video object tracking apparatus may include a salient object detection (SOD) model and a video object segmentation (VOS) model.
도 4를 참조하면, 핵심 객체 검출(SOD) 모델은 RGB 이미지를 입력받고, 핵심 객체의 위치를 픽셀 레벨로 출력한다. Referring to FIG. 4 , the core object detection (SOD) model receives an RGB image and outputs the position of the core object at a pixel level.
핵심 객체 검출(SOD)은 이미지 속에서 가장 핵심적이고 주의를 끄는 객체를 찾아내어 해당 객체의 전체 범위를 분리한다. 이미지 속에서 픽셀들이 핵심 객체에 속할 확률을 인텐시티 값으로 표현한 핵심 객체 맵을 출력한다.Key object detection (SOD) finds the most essential and attention-grabbing object in an image and isolates the entire scope of that object. Outputs a core object map that expresses the probability that pixels in the image belong to a core object as an intensity value.
핵심 객체 검출(SOD) 모델은 배경으로부터 핵심 객체를 검출해내는 것이며 일반적인 객체 검출(Object Detection) 및 객체 분리(Object Segmentation)와 상이하다. 객체 검출(Object Detection)은 이미지 속에 존재하는 모든 물체들의 위치를 바운드 박스 형태로 찾아내고 각각의 객체가 어떤 유형인지 클래스를 분류하는 것이고, 객체 분리(Object Segmentation)는 이미지 속에서 의미있는 단위로 동일한 유형의 물체끼리 분할한다. The core object detection (SOD) model detects a core object from the background and is different from general object detection and object segmentation. Object detection is to find the position of all objects in the image in the form of a bound box and classify the type of each object. Separation of tangible objects.
핵심 객체 검출(SOD) 모델은 영상으로부터 영역 특징 벡터를 추출할 수 있다. 핵심 객체 검출(SOD) 모델은 필터를 적용하여 특징 벡터를 추출하는 레이어를 포함한다. 레이어는 특징을 추출하는 컨볼루션 레이어(Convolution Layer)와 대표 특징을 선택하여 서브 샘플링을 수행하는 풀링 레이어(Pooling Layer)를 포함할 수 있다.A core object detection (SOD) model can extract a region feature vector from an image. A core object detection (SOD) model includes a layer that extracts feature vectors by applying filters. The layer may include a convolution layer for extracting features and a pooling layer for performing subsampling by selecting representative features.
핵심 객체 검출(SOD) 모델은 컨볼루션 필터를 공유할 수 있고, 레이어는 파라미터를 포함할 수 있고, 레이어의 파라미터는 학습가능한 필터 집합을 포함한다. 파라미터는 노드 간의 가중치(ω) 및/또는 바이어스(b)를 포함할 수 있다.A core object detection (SOD) model may share a convolutional filter, a layer may include a parameter, and a parameter of a layer may include a set of learnable filters. The parameter may include a weight (ω) and/or a bias (b) between nodes.
핵심 객체 검출(SOD) 모델은 컨볼루션 필터를 포함하는 복수의 레이어가 연결된 네트워크이며, 이전 레이어에서 다음 레이어로 값이 전달되기 전에 통과하는 활성화 함수를 포함할 수 있다.A core object detection (SOD) model is a network in which a plurality of layers including a convolution filter are connected, and may include an activation function that passes before a value is transferred from a previous layer to a next layer.
핵심 객체 검출(SOD) 모델은 컨볼루션(Convolution) 연산과 서브 샘플링(Subsampling)을 반복적으로 수행하면서 마지막 층은 완전 연결(Fully-connected)층으로 주어진 입력을 분류할 수 있다. 핵심 객체 검출(SOD) 모델은 복수의 컨볼루션 레이어와 복수의 서브 샘플링 레이어, 및 완전 연결 레이어로 구성될 수 있다. 컨볼루션 레이어는 학습 가능한 여러 종류의 필터들을 이용하여 영상에서 특징을 추출하고, 서브 샘플링 레이어는 컨볼루션 레이어에서 검출된 특징의 부분적인 이동 변환에 영향이 없도록 샘플링하는 과정으로서 해상도를 줄여주는 역할도 한다. The core object detection (SOD) model repeatedly performs convolution operation and subsampling, while the last layer is a fully-connected layer that can classify a given input. A core object detection (SOD) model may include a plurality of convolutional layers, a plurality of sub-sampling layers, and a fully connected layer. The convolutional layer extracts features from the image using various types of learnable filters, and the subsampling layer is a process of sampling so that the partial movement transformation of the features detected in the convolutional layer is not affected. do.
핵심 객체 검출(SOD) 모델은 이미지 전체에서 등장하는 객체에 대한 픽셀 레벨 위치를 표현하므로 관심 영역 내의 객체만 찾도록 한정할 필요가 있다.Since the core object detection (SOD) model expresses the pixel-level position of an object that appears throughout the image, it is necessary to limit the search to only the object within the region of interest.
도 5를 참조하면, 입력된 경계 레벨의 위치 정보를 기준으로 필터링하여 관심 영역 부분의 픽셀 레벨 위치만을 획득할 수 있다.Referring to FIG. 5 , only the pixel level position of the ROI portion may be obtained by filtering based on the input boundary level position information.
도 6을 참조하면, 객체 추적의 대상이 되는 데이터는 동영상으로 프레임에 따라 경계 레벨(30)에서 여러 객체(10, 20)가 등장할 수 있다. 하나의 객체에 대한 위치만 픽셀 레벨로 찾도록 하는 과정이 필요하다. 후보 객체의 크기 및 위치를 기준으로 하나의 객체를 선택하거나, 복수의 프레임을 시간 순서의 정방향 또는 역방향으로 이동하여 경계 레벨의 내부에 하나의 객체가 존재하는 프레임을 선별하고 기준 프레임으로 설정할 수 있다Referring to FIG. 6 , data to be tracked is a moving picture, and
박스 레벨 객체 위치 정보를 픽셀 레벨 객체 위치 정보로 변환하므로 동영상 객체 분할(VOS) 모델을 사용하여 픽셀 레벨 객체 이동 추적이 가능하다.By converting box-level object position information into pixel-level object position information, it is possible to track pixel-level object movement using a video object segmentation (VOS) model.
동영상 객체 분할(VOS) 모델은 동영상에서 찾고자 하는 물체를 배경으로부터 분리한다. 동영상 객체 분할(VOS) 모델은 학습된 네트워크 구조로 구현될 수 있다. The video object segmentation (VOS) model separates the object to be found in the video from the background. A video object segmentation (VOS) model may be implemented with a learned network structure.
도 7은 동영상 객체 분할(VOS) 모델의 예시이며, 파란색 2D CNN의 입력으로 들어가는 것이 객체의 위치를 찾고자 하는 프레임이다. 주황색 2D CNN의 입력으로 들어가는 이미지와 픽셀 레벨 객체 위치 정보는 찾으려는 객체의 정보가 담긴 이전 프레임들이다. 탐색 모듈을 통해 주황색 2D CNN에서 추출된 특징와 파란색 2D CNN에서 추출된 특징 간의 매칭을 통해 찾으려는 객체가 어디에 있는지 찾는 특징이 추출된다. 특징이 최종적으로 Deconv를 통해 해석되어 대상 이미지에 존재하는 찾으려는 객체의 위치 정보가 픽셀 레벨로 출력된다.7 is an example of a video object segmentation (VOS) model, and the input of the blue 2D CNN is a frame to find the location of the object. The image and pixel-level object position information entering the orange 2D CNN input are previous frames containing the information of the object to be found. Through the search module, features extracted from the orange 2D CNN and features extracted from the blue 2D CNN are matched to find where the object to be found is extracted. The feature is finally interpreted through deconv, and the position information of the object to be found in the target image is output at the pixel level.
도 8 내지 도 10은 본 발명의 실시예들에 따라 수행된 모의실험 결과를 도시한 것이다.8 to 10 show simulation results performed according to embodiments of the present invention.
도 8은 브레이크댄스에 관한 객체를 추적한 것이고 도 9는 검은 스쿠터에 관한 객체를 추적한 것이다.8 is a tracked object related to breakdance, and FIG. 9 is a tracked object related to a black scooter.
각 도면에서 맨 왼쪽의 이미지는 첫번째 프레임의 이미지이고, 찾으려는 객체의 위치에 박스 레벨의 정보를 입력한다. 'Box'에 대한 실험 결과에서 볼 수 있듯이 이는 시간이 지날수록 객체 위치의 박스 크기가 커져 높은 에러율을 보인다. 'SOD'에 대한 결과를 보면 다른 객체들도 함께 찾아내어 추적하려는 객체 외에 다른 객체도 추적하게 된다. 'SOD+Box'는 정확한 추적 결과를 보인다.In each drawing, the leftmost image is the image of the first frame, and box-level information is input at the position of the object to be found. As can be seen from the experimental results for 'Box', this shows a high error rate as the size of the box at the location of the object increases over time. Looking at the result of 'SOD', other objects are also found and other objects are tracked in addition to the object to be tracked. 'SOD+Box' shows accurate tracking results.
도 11은 데이터 세트를 테스트한 정량적 평가 결과이다.11 is a quantitative evaluation result of testing the data set.
J는 추적 결과가 실제 정답과 겹치는 영역이 얼마나 되는지를 나타내는 지표이며, 수학식 1과 같이 계산된다. J is an index indicating how many areas the tracking result overlaps with the actual correct answer, and is calculated as in
M은 모델이 예측한 추적 결과이며, G는 실제 정답에 해당하는 객체 위치이다.M is the tracking result predicted by the model, and G is the position of the object corresponding to the actual correct answer.
F는 추적 결과에 대한 경계 정보가 실제 정답에 해당하는 경계 정보와 얼마나 일치하는지를 나타내는 지표이며, 수학식 2와 같이 계산된다. ]F is an index indicating how much boundary information on the tracking result matches boundary information corresponding to an actual correct answer, and is calculated as in Equation (2). ]
c는 픽셀 레벨 위치 정보의 닫힌 경계(Closed Contours)라고 할 때, Pc는 c(M)과 c(G)의 정밀도(Precision), Rc는 c(M)과 c(G)의 재현율(Recall) 이다.Let c be the closed contours of pixel-level position information, P c is the precision of c(M) and c(G), and R c is the recall of c(M) and c(G) ( Recall).
J&F는 J와 F에 대한 결과 값의 평균이다. 박스 레벨의 정보만 제공하였음에도 정확한 결과 수치를 나타낸다.J&F is the average of the resulting values for J and F. Even though only box-level information is provided, it shows accurate results.
동영상 객체 추적 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.The moving image object tracking apparatus may be implemented in a logic circuit by hardware, firmware, software, or a combination thereof, and may be implemented using a general-purpose or special-purpose computer. The device may be implemented using a hardwired device, a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), or the like. In addition, the device may be implemented as a system on chip (SoC) including one or more processors and controllers.
동영상 객체 추적 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.The moving image object tracking apparatus may be mounted in the form of software, hardware, or a combination thereof on a computing device or server provided with hardware elements. A computing device or server includes all or part of a communication device such as a communication modem for performing communication with various devices or wired/wireless communication networks, a memory for storing data for executing a program, and a microprocessor for executing operations and commands by executing the program. It can mean a variety of devices, including
도 2에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.Although it is described that each process is sequentially executed in FIG. 2, this is only an exemplary description, and those skilled in the art change the order described in FIG. 2 without departing from the essential characteristics of the embodiment of the present invention. Alternatively, various modifications and variations may be applied by executing one or more processes in parallel or adding other processes.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.The operations according to the present embodiments may be implemented in the form of program instructions that can be performed through various computer means and recorded in a computer-readable medium. Computer-readable media refers to any medium that participates in providing instructions to a processor for execution. Computer-readable media may include program instructions, data files, data structures, or a combination thereof. For example, there may be a magnetic medium, an optical recording medium, a memory, and the like. A computer program may be distributed over a networked computer system so that computer readable code is stored and executed in a distributed manner. Functional programs, codes, and code segments for implementing the present embodiment may be easily inferred by programmers in the technical field to which the present embodiment pertains.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The present embodiments are for explaining the technical idea of the present embodiment, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present embodiment.
Claims (5)
상기 프로세서는 기준 프레임로부터 핵심 객체 검출(Salient Object Detection, SOD) 모델을 통해 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추출하고,
상기 프로세서는 상기 후보 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보 중에서 대상 객체에 대한 경계 레벨의 위치 정보를 기준으로 상기 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보로 변환하고,
상기 프로세서는 복수의 프레임에 대해서 동영상 객체 분할(Video Object Segmentation, VOS) 모델을 통해 상기 대상 객체의 전체 영역에 대한 픽셀 레벨의 위치 정보를 추적하는 것을 특징으로 하는 동영상 객체 추적 장치.In the video object tracking device comprising one or more processors and a memory for storing one or more programs executed by the one or more processors,
The processor extracts pixel-level position information for the entire area of the candidate object through a salient object detection (SOD) model from the reference frame,
the processor converts the pixel-level position information for the entire region of the target object into pixel-level position information for the entire region of the target object based on boundary-level position information for the target object from among the pixel-level position information for the entire region of the candidate object;
The processor for a plurality of frames through a video object segmentation (Video Object Segmentation, VOS) model, the video object tracking device, characterized in that for tracking pixel-level position information for the entire area of the target object.
상기 경계 레벨은 바운딩 박스로 설정되며, 상기 경계 레벨의 위치 정보는 상기 바운딩 박스에서 대각에 위치하는 2 개의 지점을 포함하는 것을 특징으로 하는 동영상 객체 추적 장치.According to claim 1,
The boundary level is set to a bounding box, and the position information of the boundary level is a moving image object tracking apparatus, characterized in that it includes two points located at a diagonal in the bounding box.
상기 핵심 객체 검출 모델은 핵심 객체 맵을 출력하고,
상기 프로세서는 상기 핵심 객체 맵에 대해서 상기 경계 레벨의 외부에 존재하는 후보 객체를 필터링하는 것을 특징으로 하는 동영상 객체 추적 장치.According to claim 1,
The core object detection model outputs a core object map,
The processor is a moving image object tracking device, characterized in that for filtering the candidate object existing outside the boundary level with respect to the core object map.
상기 프로세서는 상기 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 상기 후보 객체의 크기 및 위치를 기준으로 하나의 객체를 선택하는 것을 특징으로 하는 동영상 객체 추적 장치.According to claim 1,
Wherein the processor selects one object based on the size and location of the candidate object when there are a plurality of candidate objects existing inside the boundary level.
상기 프로세서는 상기 경계 레벨의 내부에 존재하는 후보 객체가 복수이면, 상기 복수의 프레임을 시간 순서의 정방향 또는 역방향으로 이동하여 상기 경계 레벨의 내부에 하나의 객체가 존재하는 프레임을 선별하고 상기 기준 프레임으로 설정하는 것을 특징으로 하는 동영상 객체 추적 장치.According to claim 1,
If there are a plurality of candidate objects present inside the boundary level, the processor moves the plurality of frames in a forward or reverse direction in time order to select a frame in which one object exists inside the boundary level, and selects the frame of the reference frame. Video object tracking device, characterized in that set to.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200030214A KR20210114728A (en) | 2020-03-11 | 2020-03-11 | Pixel Level Video Object Tracking Apparatus Using Box Level Object Position Information |
| PCT/KR2020/005383 WO2021182671A1 (en) | 2020-03-11 | 2020-04-23 | Apparatus for tracking video object in pixel level by using object location information in box level |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200030214A KR20210114728A (en) | 2020-03-11 | 2020-03-11 | Pixel Level Video Object Tracking Apparatus Using Box Level Object Position Information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210114728A true KR20210114728A (en) | 2021-09-24 |
Family
ID=77671890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200030214A KR20210114728A (en) | 2020-03-11 | 2020-03-11 | Pixel Level Video Object Tracking Apparatus Using Box Level Object Position Information |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20210114728A (en) |
| WO (1) | WO2021182671A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190039384A (en) | 2017-10-03 | 2019-04-11 | 주식회사 스트라드비젼 | Method for tracking and segmenting a target object in an image using markov chain, and device using the same |
| KR20190041923A (en) | 2017-10-13 | 2019-04-23 | 주식회사 스트라드비젼 | Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same |
| KR20190080904A (en) | 2016-11-01 | 2019-07-08 | 스냅 인코포레이티드 | Neural network for object detection in image |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9165190B2 (en) * | 2012-09-12 | 2015-10-20 | Avigilon Fortress Corporation | 3D human pose and shape modeling |
| KR102366779B1 (en) * | 2017-02-13 | 2022-02-24 | 한국전자통신연구원 | System and method for tracking multiple objects |
| KR20190110259A (en) * | 2018-03-20 | 2019-09-30 | 한국전자통신연구원 | Apparatus and method for object detecting using object tracking |
-
2020
- 2020-03-11 KR KR1020200030214A patent/KR20210114728A/en not_active Application Discontinuation
- 2020-04-23 WO PCT/KR2020/005383 patent/WO2021182671A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190080904A (en) | 2016-11-01 | 2019-07-08 | 스냅 인코포레이티드 | Neural network for object detection in image |
| KR20190039384A (en) | 2017-10-03 | 2019-04-11 | 주식회사 스트라드비젼 | Method for tracking and segmenting a target object in an image using markov chain, and device using the same |
| KR20190041923A (en) | 2017-10-13 | 2019-04-23 | 주식회사 스트라드비젼 | Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021182671A1 (en) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107545262B (en) | Method and device for detecting text in natural scene image | |
| CN109325954B (en) | Image segmentation method and device and electronic equipment | |
| US11138444B2 (en) | Methods and devices for processing images of a traffic light | |
| JP5775225B2 (en) | Text detection using multi-layer connected components with histograms | |
| CN111145209B (en) | Medical image segmentation method, device, equipment and storage medium | |
| US10430691B1 (en) | Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring | |
| CN110781756A (en) | Urban road extraction method and device based on remote sensing image | |
| AU2019345266B2 (en) | Ventral-dorsal neural networks: object detection via selective attention | |
| CN107944403B (en) | Method and device for detecting pedestrian attribute in image | |
| CN111275034B (en) | Method, device, equipment and storage medium for extracting text region from image | |
| KR102070956B1 (en) | Apparatus and method for processing image | |
| CN109272060B (en) | Method and system for target detection based on improved darknet neural network | |
| Wan et al. | A novel neural network model for traffic sign detection and recognition under extreme conditions | |
| CN116645592B (en) | Crack detection method based on image processing and storage medium | |
| CN113901972A (en) | Method, device and equipment for detecting remote sensing image building and storage medium | |
| US20210117700A1 (en) | Lane line attribute detection | |
| CN112101386B (en) | Text detection method, device, computer equipment and storage medium | |
| CN116486288A (en) | Aerial target counting and detecting method based on lightweight density estimation network | |
| KR101833943B1 (en) | Method and system for extracting and searching highlight image | |
| Wang et al. | Object counting in video surveillance using multi-scale density map regression | |
| CN111881984A (en) | Target detection method and device based on deep learning | |
| CN111292331B (en) | Image processing method and device | |
| Moseva et al. | Development of a System for Fixing Road Markings in Real Time | |
| CN113177956A (en) | Semantic segmentation method for unmanned aerial vehicle remote sensing image | |
| CN115346206B (en) | License plate detection method based on improved super-resolution deep convolution feature recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |