KR102282800B1 - 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 - Google Patents

라이다와 영상카메라를 이용한 멀티 표적 추적 방법 Download PDF

Info

Publication number
KR102282800B1
KR102282800B1 KR1020210041321A KR20210041321A KR102282800B1 KR 102282800 B1 KR102282800 B1 KR 102282800B1 KR 1020210041321 A KR1020210041321 A KR 1020210041321A KR 20210041321 A KR20210041321 A KR 20210041321A KR 102282800 B1 KR102282800 B1 KR 102282800B1
Authority
KR
South Korea
Prior art keywords
image
surrounding environment
information
environment information
video surveillance
Prior art date
Application number
KR1020210041321A
Other languages
English (en)
Inventor
김승호
Original Assignee
(주)케이에스아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)케이에스아이 filed Critical (주)케이에스아이
Priority to KR1020210041321A priority Critical patent/KR102282800B1/ko
Application granted granted Critical
Publication of KR102282800B1 publication Critical patent/KR102282800B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G06K9/00771—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

실시예는 라이다와 영상카메라를 이용한 멀티 표적 추적 방법에 관한 것이다.
구체적으로, 이러한 멀티 표적 추적 방법은 기본적으로 기존과 같이, 특정 영상감시 영역의 영상감시장치로 범죄행위 또는, 불건전한 행위 등의 특이행동을 하는 표적 후보인 특정된 다수의 객체를 인식하여, 라이다에 의해 표적 추적한다.
그리고, 이러한 경우에, 여러 객체별로의 부분 윤곽을 영상분포도로서 추출하고 객체일부만으로 통합적으로 생성해서, 이러한 객체일부에서 전체 크기와 위치를 추정하는 방식의 응용을 통해서 한번에 영상 내의 여러 객체를 일괄추출한다.
따라서, 이를 통해 이러한 객체에 의해서 특이행동을 감지하여, 신속하고 효과적으로 이상징후를 나타내는 객체를 감지하며, 실제 감지된 경우에는 라이다 센서와 연동해서 추적을 개시 수행하여 향상된 멀티표적 추적을 한다.

Description

라이다와 영상카메라를 이용한 멀티 표적 추적 방법{Method for trackig multi target employing ridar and camera}
본 명세서에 개시된 내용은 영상감시에 사용되는 멀티 표적 추적 기술 분야에 관한 것으로, 보다 상세하게는 카메라를 통해 촬영한 감시영상에서 객체를 인식하여 라이다를 통해 멀티 표적을 추적하는 기술에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
최근 현대사회가 더욱 복잡해지면서, 사회는 사회범죄, 재난 등 등 다양한 사회문제에 직면하게 된다.
특히 근래에 들어서, 성추행, 성폭력과 같은 여성사회문제로부터 연쇄 살인까지 강력범죄가 급격하게 증가하게 되면서, 관련된 장소에서는 CCTV를 설치하여 이를 조금이라도 줄이기 위해 노력하고 있다.
이와 같이 CCTV 시스템은 주변에서 일어나는 상황이나 행동 등을 감시하기 위해서 고안된 시각용 수단이다. 이러한 CCTV 시스템은 범인검거에 있어 매주 중요한 정보를 제공하고 있어, 보안 시스템의 하나로 중요한 위치를 차지하고 있으며, CCTV의 수가 급격하게 증가되고 있다.
이러한 CCTV 시스템은 통상적으로 얼굴과, 물체, 차량번호판 등을 인식하는 알고리즘으로, 인식하고자 하는 피사체 중심으로 촬영한 영상 데이터와, 이러한 영상 데이터의 촬영시간과 장소 정보를 제공하는 것이 일반적으로 사용되고 있다.
그러나, 이러한 알고리즘은 일반적으로 카메라가 원거리에 있어서 촬영한 물체 또는 사람을 인식하기 힘들다.
이러한 배경의 선행기술문헌은 아래의 특허문헌 등이다.
(특허문헌 0001) KR100967718 Y1
(특허문헌 0002) KR1020160008668 A
참고적으로, 상기 특허문헌 1의 기술은 물체인식 정보를 이용한 영상 보안시스템에 의해 공간 배경영상에 대한 검색과, 필요에 따라 배경 내의 물체별 영상 및 정보를 제공하는 것이다.
이러한 특허문헌 1의 기술은 영상에 대한 확대 정보에만 치중하여, 인식된 물체에 대해서 추적하는 기술에 대해서는 아직 개발이 필요한 것이었다.
그리고, 상기 특허문헌 2의 기술은 길거리에 설치되며 길거리를 지나다니는 객체를 인식하여 객체의 움직이는 속도에 따라 객체가 움직이는 방향으로 이동하는 것이다.
이러한 특허문헌 2의 기술은 객체의 속도를 표시할 뿐, 종래의 특허문헌 1의 기술 과 마찬가지로 객체인식을 통한 객체추적에 대한 방식을 개발할 필요가 있었다.
개시된 내용은, 영상감시와 라이다 센서를 연동하여 멀티 표적을 추적할 수 있도록 하고, 이러한 경우에, 감시영상 내에서 표적의 후보인 여러 객체를 영상 기반의 특정 객체구조 특징들만으로 추출해서, 객체추출을 통합적으로 신속히 일괄적으로 할 수 있도록 하는 라이다와 영상카메라를 이용한 멀티 표적 추적 방법을 제공하고자 한다.
실시예에 따른 라이다와 영상카메라를 이용한 멀티 표적 추적 방법은,
기본적으로 기존과 같이, 특정 영상감시 영역의 영상감시장치로 범죄행위 또는, 불건전한 행위 등의 특이행동을 하는 표적 후보인 특정된 다수의 객체를 인식하여, 라이다에 의해 표적 추적한다.
이러한 경우, 일실시예는 여러 객체별로의 부분 윤곽을 영상분포도로서 추출하고 객체일부만으로 통합적으로 생성해서, 이러한 객체일부에서 전체 크기와 위치를 추정하는 방식의 응용을 통해서 한번에 영상 내의 여러 객체를 일괄추출한다.
그리고, 이러한 객체에 의해서 특이행동을 감지하여, 신속하고 효과적으로 이상징후를 나타내는 객체를 감지하며, 실제 감지된 경우에는 라이다 센서와 연동해서 추적을 개시 수행하여 향상된 멀티표적 추적을 하는 것을 특징으로 한다.
실시예들에 의하면, 영상감시와 라이다 센서를 연동하여 멀티 표적을 추적하고, 이러한 경우에, 감시영상 내에서 여러 객체를 영상 기반의 특정 객체구조 특징들만으로 추출해서, 객체추출을 통합적으로 신속히 일괄적으로 수행한다.
도 1은 일실시예에 따른 라이다와 영상카메라를 이용한 멀티 표적 추적 방법을 개념적으로 설명하기 위한 도면
도 2는 일실시예에 따른 라이다와 영상카메라를 이용한 멀티 표적 추적 방법이 적용된 시스템을 전체적으로 도시한 도면
도 3a는 도 2의 시스템에 적용된 카메라 장치의 구성을 도시한 블록도
도 3b는 도 2의 시스템에 적용된 중앙관제센터의 구성을 도시한 블록도
도 4는 일실시예에 따른 라이다와 영상카메라를 이용한 멀티 표적 추적 방법을 순서대로 도시한 플로우 차트
도 1은 일실시예에 따른 라이다와 영상카메라를 이용한 멀티 표적 추적 방법을 개념적으로 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 일실시예의 멀티 표적 추적 방법은 기본적으로 기존과 같이, 특정 영상감시 영역의 영상감시장치로 범죄행위 또는, 불건전한 행위 등의 특이행동을 하는 표적 후보인 특정된 다수의 물체를 인식하여, 라이다에 의해 표적 추적한다.
그래서, 이를 통해 일실시예의 멀티 표적 추적 방법은 영상감시를 할 경우, 정확하고 손쉽게 멀티 표적을 추적 감시할 수 있도록 한다.
이러한 경우, 일실시예에 따른 멀티 표적 추적 방법은 여러 물체별로의 부분 윤곽을 영상분포도로서 추출하고 물체일부만으로 통합적으로 생성해서, 이러한 물체일부에서 전체 크기와 위치를 추정하는 방식의 응용을 통해서 한번에 여러 물체를 일괄추출한다.
그리고, 이러한 객체에 의해서 특이행동을 감지하여, 신속하고 효과적으로 이상징후를 나타내는 객체를 감지하며, 실제 감지된 경우에는 라이다 센서와 연동해서 추적을 개시 수행하여 향상된 멀티표적 추적을 한다.
예를 들어, 이러한 멀티 표적 추적 방법은 기존과 같이, 여기에서 교통 영상감시에 적용된다.
이를 위해, 영상감시장치 즉, 카메라 장치(100)가 적용되며, 이는 기본적으로 도로 등에서 차량이 주행할 경우, 각 도로 상에 설치되어 감시영상과, 주변의 교통환경정보를 수집하여 중앙관제센터로 전달함으로써, 교통분석을 위한 기초정보를 획득한다.
그러면, 중앙관제센터에서 이러한 교통환경정보를 학습하여 교통분석을 한다.
그래서, 이러한 교통분석 결과를 바탕으로 해당되는 지역의 신호정책 등에 관한 교통정책을 도출하거나 교통이상징후를 예측하기도 한다.
이러한 상태에서, 일실시예에 따라 중앙관제센터는 상기 카메라 장치(100)에 의해 수집된 영상정보를 기반으로 멀티 표적을 추적한다. 또는, 상기 카메라 장치(100)에서 직접적으로 수행하기도 한다.
그래서, 중앙관제센터와 카메라 장치(100)는 일실시예와 관련된 멀티 표적추적이 될 경우에, 감시영상에서 각 객체와 미리 설정된 범죄행위 또는, 불건전한 행위 등의 특이행동을 비교하여 특정된 다수의 물체를 인식한다.
상기 카메라 장치(100)는 다수의 상이한 영상감시 영역별로 예를 들어, 주요 교차로, 진입로 등에 각기 설치된 것으로, 자신의 감시영역의 감시영상과, 교통환경정보를 수집하여 상기 중앙관제센터에 제공해서 교통관제 등이 이루어지도록 한다. 참고적으로, 이러한 경우, 상기 교통환경정보는 차량속도와, 교통량, 차량 점유율, 미세먼지상태, 행인의 직접조작에 의한 횡단보도 신호등 상태변경여부, 이산화탄소농도, 공공기관 예를 들어, 소방서 또는 경찰서 등의 소방차 혹은 경찰차 등의 정차상태, 노점상의 도로점유상태 등이다.
상기 라이다 센서(미도시)는 이러한 특이행동 등 특정된 다수의 물체를 라이다의 물체에 대한 반사 정보와 도플러 주파수 편이 정보에 의해 추적한다. 이때 라이다 센서는 물체 예를 들어, 차량 또는 사람의 특이점을 선택적으로 추적하여, 예컨대 차량의 진행방향, 속도, 차선의 변경과 같은 차량의 진행정보를 수집한다. 여기서, 특이점은 추적 대상을 추적하기 위해 선정한 물체의 특정 부분을 의미한다. 상기 라이다 센서는 물체 전체가 아닌 특이점만을 추적함으로써 추적 대상을 구분할 수 있으며, 추적대상의 속도, 진행방향과 같은 사항을 지속적으로 추적할 수 있게 된다. 이러한 특이점의 선정으로 인해 전체에 비해 대상을 구분할 수 있는 최소 부위만 추적함으로써 종래에 비해 장시간 정밀하게 추적할 수 있다. 또한, 특이점을 이용한 추적의 경우 최소 범위만 지속적인 감지를 수행함으로써 분석에 의한 처리가 감소하여 복수의 물체를 같은 시간에 멀티 추적하는 것이 가능해지게 된다.
도 2는 일실시예에 따른 라이다와 영상카메라를 이용한 멀티 표적 추적 방법이 적용된 시스템을 전체적으로 도시한 도면이다.
도 2에 도시된 바와 같이, 일실시예에 따른 시스템은 다수의 상이한 영상감시 영역별로 설치된 다수의 카메라 장치(100-1 ~ 100-n 등)와, 중앙관제센터(200)를 포함한다.
상기 카메라 장치(100-1 ~ 100-n 등)는 다수의 상이한 영상감시 영역별로 예를 들어, 주요 교차로, 진입로, 나들목 등에 각기 설치된다. 이러한 카메라 장치(100-1 ~ 100-n 등)는 자신의 영상감시 영역에서 감시영상을 획득하고, 자가망을 통해 상기 중앙관제센터(200)에 제공한다. 부가적으로 카메라 장치(100-1 ~ 100-n)는 자체 내에서 일실시예에 따른 차량번호판 인식 방법을 사용하여 차량번호를 인식하기도 한다.
상기 중앙관제센터(200)는 기본적으로 상기 카메라 장치(100-1 ~ 100-n 등)로부터 감시영상 등을 수집하고 차량번호판을 인식하거나 또는, 차량의 이상여부를 판별해서 위험 차량 등을 추적함으로써, 교통관제가 이루어진다. 그래서, 상기 중앙관제센터(200)는 이때 이러한 영상에서 특이행동을 하는 객체를 인식할 경우, 상기 카메라 장치(100-1 ~ 100-n 등)에 연계된 주변의 라이다 센서동작을 제어하여 객체의 반사 정보와, 도플러 주파수 편이 정보에 따라 멀티 표적을 추적한다. 이러한 경우, 차량의 이상여부를 판별하기 위해서 상기 중앙관제센터(200)는 신호위반과, 과속, 주정차위반 등 도로교통법상 위반내용을 구비한다. 그리고, 차량 이상이 감지될 때에는, 상기 카메라 장치(100-1 ~ 100-n 등)의 회전과, 확대, 정지, 문자 표시, 상태 확인 등의 다양한 제어활동도 수행한다. 추가적으로, 상기 중앙관제센터(200)는 이러한 교통관제 결과 등을 방재관리실 혹은 외부연계기관에 제공하기도 한다. 예를 들어, 외부연계기관은 교통상황통제 정보처리장치와, 경찰서 정보처리장치, 교통기관 정보처리장치 또는, 긴급구조 정보처리장치, 소방서 정보처리장치 등이다.
도 3a와 도 3b는 도 2의 시스템에 적용된 장치의 구성을 도시한 도면이다.
구체적으로는, 도 3a는 일실시예에 따른 카메라 장치(100)의 구성을 도시한 블록도이다. 그리고, 도 3b는 일실시예에 따른 중앙관제센터(200)의 구성을 도시한 블록도이다.
도 3a에 도시된 바와 같이, 일실시예에 따른 카메라 장치(100)는 카메라 모듈(110)과, DSP부(120), 라이다 센서(130), 제어부(140), 통신부(150)를 포함한다.
추가적으로, 도 2의 카메라 장치(100)는 인공 지능부(160)를 포함한다.
상기 카메라 모듈(110)은 관리자를 통해 미리 지정된 영상감시 영역의 영상을 수집하여 관리자가 원하는 감시영역에서 지나가는 사람 또는 차량 등을 인식하도록 한다.
상기 DSP부(120)는 상기 카메라 모듈(110)의 영상을 디지털 신호 처리하여 상기 제어부(140)로 전달한다.
상기 라이다 센서(130)는 상기 제어부(140)의 제어에 의해 레이다를 멀티 표적에 송출하여 반사 정보와, 도플러 주파수 편이 정보를 상기 제어부(140)로 전달하므로, 이에 따라 표적 추적이 이루어지도록 한다.
상기 제어부(140)는 상기 DSP부(120)에 의해 처리된 결과로부터 감시영상 내의 객체를 일실시예에 따른 방식으로(아래의 도 4를 참조해 상세히 설명함) 추출하여 미리 설정된 특이행동을 하는 경우, 상기 라이다 센서(130)의 송출동작을 개시한다. 그리고, 상기 제어부(140)는 이러한 라이다 센서(130)의 객체 반사정보와, 도플러 주파수 편이정보(도플러 주파수 방향과, 편이값 포함)에 따라 멀티 표적을 추적한다.
상기 통신부(150)는 상기 제어부(140)의 제어에 의해 각종 정보를 예를 들어, 감시영상과, 특이행동을 하는 객체, 멀티표적 추적 정보 등을 중앙관제센터(200)로 전달한다.
한편, 도 3b에 도시된 바와 같이, 일실시예에 따른 중앙관제센터(200)는 I/F부(201)와, 메인 제어부(202), 데이터베이스(203)를 포함한다.
부가적으로, 이러한 중앙관제센터(200)는 관리자 설정명령 등을 입력받는 키신호 입력부(204)를 포함한다.
상기 I/F부(201)는 미리 등록된 카메라 장치(100)와 정보를 송수신한다.
상기 메인 제어부(202)는 이러한 카메라 장치(100)로부터 감시영상을 제공받아서, 현재 감시영상에서 일실시예에 따른 멀티 표적 추적 방법을 실제적으로 적용하므로, 객체를 고속인식한다. 이러한 경우, 메인 제어부(202)는 일실시예에 따른 객체 3차원 학습모델을 사용한다. 그리고 나서, 메인 제어부(202)는 이러한 객체 인식 결과에 따라서 특정 객체에 이상상태가 검출된 경우에 해당하는 카메라 장치(100)의 동작을 예를 들어, 영상 확대와, 줌 인 등의 동작을 제어한다. 그래서, 이를 통해 위험 차량 등을 감시해서 교통관제를 수행한다.
상기 데이터베이스(203)는 이러한 객체인식이 될 경우에 일실시예에 따른 객체 3차원 학습모델을 등록한다. 그리고, 데이터베이스(203)는 이 외에도 교통관제를 수행하기 위해서 카메라 장치(100)와 외부연계기관의 등록정보와, 도로교통법상 위반내용 등을 등록한다.
도 4는 일실시예에 따른 라이다와 영상카메라를 이용한 멀티 표적 추적 방법을 순서대로 도시한 플로우 차트이다.
도 4에 도시된 바와 같이, 일실시예에 따른 멀티 표적 추적 방법은 먼저 영상감시영역의 감시영상이 입력될 경우에, 감시영상을 누적해서 배경 파트를 생성한다(S401).
그리고 나서, 이러한 배경 파트를 기준으로 미리 설정된 차이값보다 초과하는 화소를 산출한다(S402).
다음, 이러한 차이값이 임계치 이상인 화소영역을 모아 전경 파트로서 획득한다(S403).
그리고, 전경 파트의 노이즈를 모폴로지 필터를 통해 삭제한다(S404).
그래서, 이렇게 노이즈가 제거된 전경 파트에서 다수의 상이한 객체별로 부분 윤곽을 영상분포도에 의해서 추출한다(S405).
다음, 이러한 객체의 부분 윤곽에서, 미리 설정된 최소 크기 이하의 영역을 인접한 영역과 결합하여 객체의 서브 바디를 생성한다(S406).
그리고 나서, 이렇게 생성된 객체의 서브 바디를 미리 설정된 감시객체의 서브 바디패턴과 비교해서, 현재 감시객체에 해당하는 객체의 서브 바디를 전부 일괄추출한다(S407).
다음, 이러한 감시객체에 해당하는 객체의 서브 바디가 추출된 경우에, 각각의 객체 서브 바디로부터 객체의 전체 크기와 위치를 상이한 객체의 서브 바디별로 추정하는 미리 설정된 포맷에 의해서 현재 객체의 전체 크기와 위치를 추정한다(S408).
그래서, 이러한 객체 전체를 통해 나타난 객체의 행동이 미리 설정된 특이행동인 경우(S409), 해당하는 객체를 표적으로 라이다 센서의 동작을 개시하고(S410), 상기 특이행동이 아닌 경우 상기 라이다 센서의 동작을 개시하지 않는다.
그런 후에, 이러한 라이다 센서에 의한 객체의 반사 정보와, 도플러 주파수 편이 정보에 따라 다수의 상이한 객체별로 멀티 표적을 추적한다(S411).
따라서, 이를 통해 일실시예는 여러 객체별로의 부분 윤곽을 영상분포도로서 추출하고 객체일부만으로 통합적으로 생성해서, 이러한 객체일부에서 전체 크기와 위치를 추정하는 방식의 응용을 통해서 한번에 여러 객체를 일괄추출한다.
그리고, 이러한 객체에 의해서 특이행동을 감지하여, 신속하고 효과적으로 이상징후를 나타내는 객체를 감지하며, 실제 감지된 경우에는 라이다 센서와 연동해서 추적을 개시 수행하여 향상된 멀티표적 추적을 한다.
이상과 같이, 일실시예는 기본적으로 기존과 같이, 특정 영상감시 영역의 영상감시장치로 범죄행위 또는, 불건전한 행위 등의 특이행동을 하는 표적 후보인 특정된 다수의 객체를 인식하여, 라이다에 의해 표적 추적한다.
이러한 경우, 일실시예는 여러 객체별로의 부분 윤곽을 영상분포도로서 추출하고 객체일부만으로 통합적으로 생성해서, 이러한 객체일부에서 전체 크기와 위치를 추정하는 방식의 응용을 통해서 한번에 영상 내의 여러 객체를 일괄추출한다.
그리고, 이러한 객체에 의해서 특이행동을 감지하여, 신속하고 효과적으로 이상징후를 나타내는 객체를 감지하며, 실제 감지된 경우에는 라이다 센서와 연동해서 추적을 개시 수행하여 향상된 멀티표적 추적을 한다.
한편, 추가적으로 이러한 멀티 표적 추적 방법은 다양한 객체와, 주변환경 유형을 반영한 영상깊이 기초의 객체 3차원 학습모델로부터 다수의 상이한 객체를 객체별로 3차원 객체화해서, 현장상황에 맞게 객체 인식이 이루어지도록 한다.
이를 위해, 이러한 멀티 표적 추적 방법은 전술한 바와 같이 객체 전체가 추정될 경우에, 추정된 객체의 영상구조특징과, 영상깊이 정보를 추출하고, 상기 영상감시영역으로부터의 주변 환경정보를 수집한다.
그리고 나서, 이러한 객체의 영상구조특징과, 영상깊이, 상기 수집된 영상감시영역의 주변 환경정보에 의해서 아래의 객체 3차원 학습모델에 따라 객체를 3차원 객체화한다.
상기 객체 3차원 학습모델은 아래와 같이 이루어진다.
a) 먼저 상기 객체 3차원 학습모델은 객체 전체가 추정될 경우에 3차원 객체화하기 위해서, 다수의 상이한 객체별로 주변환경 유형에 따라 객체를 영상구조특징 및 영상깊이로 분류하여 3차원 객체화한다.
그리고, 이러한 3차원 객체화가 될 경우에는, 다수의 상이한 객체별로 주변환경 유형에 따라서 윤곽선 패턴을 학습한 결과로부터 객체의 영상구조특징 및 영상깊이를 분류한다.
예를 들어, 이러한 주변환경 유형은 날씨(예: 안개, 비, 눈 등)와, 온습도, 미세먼지, 계절 등이다.
그리고, 일실시예에 따라 상기 윤곽선 패턴은 아래와 같이 이루어진다.
먼저 윤곽선 패턴은 여러 가지 상황에 적응적으로 대응하기 위해서 이루어진 것으로, 예를 들어, 이러한 상황은 객체가 영상의 촬영 각도나, 밝기, 주위 조명 등에 의해 동일한 번호판이 여러 색상이나 변형되어 보인다.
그래서, 이를 위해 윤곽선 형태를 ART2 신경망의 입력 패턴으로 인식한다. 이때 객체는 자체 모양에서 좌/우변 등으로부터의 거리를 연속적인 신호패턴으로 변경했을 때 서로 상이하다는 특징이 있다.
그래서, 객체의 중심을 기준으로 세로로 반으로 나눈다.
다음, 중심선과 예를 들어, 좌측 외곽선 부분의 점들을 지난 수선의 거리를 객체의 상단부터 연속된 패턴으로 추출한다.
그리고 나서, 우측에서도 동일한 방식으로 패턴을 추출한다.
그래서, 이렇게 추출된 윤곽선들은 서로 상이한 패턴의 아날로그 그래프 형태를 나타낸다.
따라서, 이를 통해 객체의 영상구조특징 및 영상깊이를 분류할 경우에, 윤곽선 패턴을 학습하여 영상구조특징 및 영상깊이를 인식함으로써, 여러 가지 상황에 적합하게 대응한다.
이러한 경우에, 추가적으로 상기 윤곽선 패턴은 다수의 상이한 날씨별과, 계절별 등의 주변환경에 따라 상이하게 학습하여 이루어진다.
그리고 나서, 다수의 상이한 3차원 객체별로 대응하여 영상평면 상에 타원의 방정식을 생성해서 학습 모델을 정의한다.
이때, 상기 타원의 방정식은 상이한 영상깊이별로 타원 인자를 추출해서 이루어진다. 그리고, 이러한 타원의 방정식은 영상평면 상의 좌표와, 매개변수로 이루어지며, 이 매개변수는 영상깊이 정보에 따라서 결정되고, 결정된 결과가 타원 인자로 된다.
그래서, 이를 통해 3차원 객체별로 맞는 타원의 방정식을 상이하게 사용하여 객체를 추출하므로, 종래보다 적은 디지털 부호량으로 다양한 형태의 깊이 영상을 표현해서 인식 처리를 신속하게 한다.
b) 다수의 상이한 객체와, 주변환경 유형별로 영상구조특징 및 영상깊이 데이터셋을 추출한다.
c) 그리고, 이러한 데이터셋을 다수의 상이한 영상감시 장소와, 시간대, 주변환경 유형을 반영하여 속성화한다.
예를 들어, 이러한 장소는 일반 도로와, 터널, 산간 지역 등이다. 그리고, 시간대는 새벽이나 또는, 밤, 오전과 오후, 해질녁 등이고, 주변환경은 전술한 주변환경 정보와 동일하다. 그리고, 이러한 정보를 기초로 유사한 속성을 나타내는 정보들이 유형화된다.
d) 다음, 이렇게 속성화된 결과를 기초로 한 다수의 상이한 학습 모델별로 객체의 영상구조특징 및 영상깊이의 속성을 결정한다.
e) 그리고, 이렇게 결정된 결과를 정규화한다.
f) 그래서, 이러한 정규화된 결과를 기초로 해서 다수의 상이한 학습 모델별로 객체의 영상구조특징 및 영상깊이를 설정하여, 다수의 상이한 3차원 객체별로 객체화하는 독립 및 종속 변수를 설정한다.
g) 그리고, 이렇게 설정된 결과를 학습 및 훈련 데이터로 생성한다.
h) 그래서, 이러한 결과로부터 딥러닝 기반의 객체 3차원 학습모델을 생성한다.
따라서, 이에 따라 이러한 3차원 객체에 의해 객체를 추출하여 인식한다.
따라서, 이를 통해 이러한 멀티 표적 추적 방법은 객체 전체가 추정되어 인식될 경우에, 다양한 객체와, 주변환경 유형을 반영한 영상깊이 기초의 객체 3차원 학습모델로부터 다수의 상이한 객체를 객체별로 3차원 객체화해서, 현장상황에 맞게 객체 인식한다.
그러므로, 이러한 멀티 표적 추적 방법은 객체인식에 사용하는 개량된 종래의 색채방식보다 데이터 처리량이 적고 인식율도 높인다.
그리고, 이러한 경우에, 이러한 객체 3차원 학습모델은 다양한 장소와, 시간대, 주변환경별로 관련된 데이터를 속성화하므로, 인식율을 보다 높이기도 한다.
그리고, 또한 상기 멀티 표적 추적 방법은 이러한 경우에, 3차원 객체별로 맞는 타원의 방정식을 상이하게 사용하여 객체를 추출하므로, 종래보다 적은 디지털 부호량으로 다양한 형태의 깊이 영상을 표현해서 인식 처리를 신속하게 한다.
추가적으로, 이러한 멀티 표적 추적 방법은 이러한 멀티 표적에 대한 추적동작 중에 위험 객체 예를 들어, 몸이 불편하시 분이나, 위험 차량 등을 즉시 식별할 수 있기도 한다.
구체적으로는, 이러한 식별동작은 상기한 영상분포도에 의해 객체의 전체 크기와 위치가 추정될 경우에, 미리 설정된 이상 객체 영상분포도로부터 현재 객체의 영상분포도를 비교한다.
그래서, 상기 비교 결과, 이상 객체 영상분포도가 현재 객체의 영상분포도에 대한 차이값이 미리 설정된 차이값보다 이상인 경우에 알람한다.
반면에, 이상 객체 영상분포도와 현재 객체의 영상분포도의 차이값이 상기 차이값보다 미만인 경우에는 알람하지 않는다.
그리고, 이렇게 알람이 될 경우에, 알람을 객체 유형과, 관리영역 유형, 관리목적 유형, 관리시간대별로 등급화해서 처리하는 포맷을 구비하여 현재 알람을 해당하는 등급에 따라 수행한다.
다른 한편으로, 또 다른 실시예는 이러한 영상감시 시스템에서 주변환경 정보 등을 중앙관제센터로 제공할 경우에, 다양한 영상감시 시스템별로서 통신 기능을 담당하는 라이브러리를 생성하므로, 개발자를 위한 가이드를 제공하도록 한다.
이를 위해, 이러한 실시예는 영상감시 주변의 환경정보가 수집될 경우에, 다수의 상이한 영상감시 시스템 유형별로 고유한 통신데이터 특성을 오픈된 공통플랫폼 하에서 통합적으로 구성한 통신기능용 라이브러리를 미리 등록한다.
그리고 나서, 다수의 상이한 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 통신기능용 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성한다.
그래서, 이러한 어플리케이션과 컴포넌트에 의해 상기 영상감시 주변의 환경정보를 수집한다.
이러한 경우, 상기 라이브러리는 예를 들어 개략적으로 아래와 같이 이루어진다.
먼저, 상기 라이브러리는 영상감시 시스템과 관련된 다양한 센서와 액추에이터를 제어하는 1 이상의 컴퓨터 프로그램(예 : 자바 스크립트, 자바)을 이용하도록 구성된다.
그리고, 라이브러리는 이러한 제어용 메소드를 기술한 클래스를 조합한다.
이때, 메소드는 상이한 영상감시 시스템별로의 통신데이터 특성에 따라 제어하도록 구성된다.
그리고, 또한 이러한 라이브러리는 표준 라이브러리와 사용자 정의 라이브러리로 이루어진다.
추가적으로, 이러한 경우에 설비 개발자를 위한 가이드를 전체적으로 제공하기도 한다.
구체적으로는, 영상감시 영역의 주변 환경정보가 수집될 경우에, 영상감시 시스템 유형별로 고유한 데이터 특성과, 어플리케이션, 제어 동작환경, 서비스를 오픈된 공통플랫폼 하에서 통합적으로 구성한 개발가이드 라이브러리를 미리 등록한다.
그리고 나서, 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 개발가이드 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성한다.
그래서, 이렇게 생성된 어플리케이션과 컴포넌트를 추가적으로 사용해서 상기 영상감시 영역의 주변 환경정보를 수집한다.
또한, 이러한 실시예에서는 oneM2M 표준에 따른 프로토콜과 아키텍처를 제공한다.
구체적으로는, 영상감시 영역의 주변 환경정보가 수집될 경우에, 해당하는 영상감시 장치를 센서노드로서 관리할 oneM2M 표준에 따른 프로토콜과, 상기 프로토콜 관리파일을 구성한 프로토콜 라이브러리를 미리 등록한다.
그리고, 이러한 프로토콜 라이브러리는 오픈된 공통플랫폼 하에서 영상감시 시스템 유형별로 고유한 통신데이터 특성별로 통합적으로 구성한다.
그리고 나서, 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 프로토콜 라이브러리에 의해서 어플리케이션과 컴포넌트를 생성한다.
그래서, 이러한 어플리케이션과 컴포넌트로도 상기 영상감시 영역의 주변 환경정보를 수집한다.
이에 더하여, 이러한 실시예에서는 영상감시 시스템에서 실시간 모니터링과 제어, 다른 관리자와 공유 기능을 수행할 수 있도록 한다.
이를 위해, 영상감시 영역의 주변 환경정보가 수집될 경우에, 영상감시 시스템별로 고유한 실시간 모니터링과 제어용 어플리케이션 제작특성과, 다른 관리자와의 공유용 편집기, 상기 편집기를 통해 제어할 영상감시 시스템을 연결하는 도구를 미리 등록한다.
그리고, 이렇게 연결된 영상감시 시스템으로부터 수집된 정보를 관리자 앱 서비스로 표현하는 컴포넌트와, 상기 컴포넌트를 제작 및 오픈 API로 등록하여 사용하는 기능도 미리 등록한다.
그리고 나서, 이러한 등록된 결과를 오픈플랫폼 하에서 해당하는 서비스 앱으로 구성해서 실행파일로 생성한다.
그래서, 이러한 실행파일에 의해서 영상감시 시스템을 실시간 모니터링과 제어하므로, 상기 영상감시 영역의 주변 환경정보를 수집한다.
한편으로, 이러한 실시예에서는 이러한 다양한 기능들에 더해서 저성능 영상감시 시스템을 위한 경량 프로토콜을 제공하기도 한다.
구체적으로는 아래와 같이 이루어진다.
먼저, 영상감시 영역의 주변 환경정보가 수집될 경우에, 영상감시 시스템의 데이터전송사양을 미리 설정된 기준 데이터전송사양과 비교한다.
상기 비교 결과, 영상감시 시스템의 데이터전송사양이 상기 기준 데이터전송사양보다 이상인 경우에 현재 상태를 유지하고, 반면에 미만인 경우에는 암호화를 위한 버퍼를 할당하여 초기화한다.
다음, 미리 설정된 마스터 키를 통해 암호화 키를 생성한다.
그리고, 영상감시 영역의 주변 환경정보를 읽는다.
그리고 나서, 주변 환경정보의 길이와, 다수의 상이한 영상감시 시스템별로 대응하여 미리 설정된 암호화 데이터 길이 중에서 해당 암호와 데이터 길이를 비교한다.
상기 비교 결과, 상기 주변 환경정보의 길이가 해당하는 암호화 데이터 길이보다 작은 경우 암호화 하지 않고 전송하며, 큰 경우에는 프레임을 검출한다.
그리고, 확장 헤더는 확장 비트를 읽어 유무를 확인한다.
상기 확인 결과, 확장 비트가 있는 경우에 페이로드 시작점 오프셋을 확장 길이만큼 이동시킨다.
반면, 상기 프레임과, 암호용 키, 페이로드 오프셋 정보를 파라미터로 전달받아 프레임의 페이로드 시작부분을 미리 설정된 암호화 포맷으로 부분 암호화해서 저성능 영상감시 시스템을 위한 경량 프로토콜로서 제공한다.
그리고, 이러한 경우에 이러한 시스템 환경하에서 보안관리를 위해 아래의 구성을 더 구비한다.
구체적으로는, 영상감시 영역의 주변 환경정보를 수집하기 위해서, 미리 상이한 어플리케이션별로 해시트리를 기준으로 하위 해시값을 부여하고, 상기 해시트리의 상위 해시값을 등록한다.
그리고, 또한 현재 주변 환경정보가 수집되는데 사용하는 어플리케이션별로 해시값을 연결해서 해시노드를 형성한 경우에 보안이 된 것으로 확인하는 포맷을 등록한다.
이러한 상태에서, 상기 영상감시 영역의 주변 환경정보가 수집될 경우에, 이러한 포맷에 의해서 관련된 어플리케이션별로 해시값을 연결하여 해시노드를 형성한 경우에 한해서 보안이 된 것으로 확인한다.
또한, 영상감시 영역의 주변 환경정보가 수집될 경우에 추가적으로 어플리케이션 사용을 감지해서 상기 감지 결과, 어플리케이션 사용이 된 경우에 화이트 리스트 및 블랙 리스트에 기반한 사용자 선택 모드에 따라 해당 어플리케이션의 시그니처 정보를 검색한다.
상기 검색 결과, 해당하는 어플리케이션 시그니처 정보가 있는 경우 자신의 어플리케이션 사용을 허용하고, 반면에 해당 어플리케이션 시그니처 정보가 없는 경우에는 자신의 어플리케이션 사용을 차단한다.
100 : 카메라 장치
200 : 중앙관제센터
110 : 카메라 모듈 120 : DSP부
130 : 라이다 센서 140 : 제어부
150 : 통신부
201 : I/F부 202 : 메인 제어부
203 : 데이터베이스

Claims (10)

  1. 영상감시영역의 감시영상이 입력될 경우에, 감시영상을 누적해서 배경 파트를 생성하는 제 1 단계;
    상기 배경 파트를 기준으로 미리 설정된 차이값보다 초과하는 화소를 산출하는 제 2 단계;
    상기 차이값이 임계치 이상인 화소영역을 전경 파트로 획득하는 제 3 단계;
    상기 전경 파트의 노이즈를 모폴로지 필터를 통해 삭제하는 제 4 단계;
    상기 노이즈가 제거된 전경 파트에서 다수의 상이한 객체별로 부분 윤곽을 영상분포도에 의해서 추출하는 제 5 단계;
    상기 추출된 객체의 부분 윤곽에서, 미리 설정된 최소 크기 이하의 영역을 인접한 영역과 결합하여 객체의 서브 바디를 생성하는 제 6 단계;
    상기 생성된 객체의 서브 바디를 미리 설정된 감시객체의 서브 바디패턴과 비교해서, 현재 감시객체에 해당하는 객체의 서브 바디를 전부 일괄추출하는 제 7 단계;
    상기 감시객체에 해당하는 객체의 서브 바디가 추출된 경우에, 각각의 객체 서브 바디로부터 객체의 전체 크기와 위치를 상이한 객체의 서브 바디별로 추정하는 미리 설정된 포맷에 의해서 현재 객체의 전체 크기와 위치를 추정하는 제 8 단계;
    상기 추정된 객체 전체를 통해 나타난 객체의 행동이 미리 설정된 특이행동인 경우, 해당하는 객체를 표적으로 라이다 센서의 동작을 개시하고, 상기 특이행동이 아닌 경우 상기 라이다 센서의 동작을 개시하지 않는 제 9 단계; 및
    상기 개시된 라이다 센서에 의한 객체의 반사 정보와 도플러 주파수 편이 정보에 따라 다수의 상이한 객체별로 멀티 표적을 추적하는 제 10 단계; 를 포함하고,

    상기 제 8 단계와 상기 제 9 단계의 사이에,
    상기 추정된 객체의 영상구조특징과, 영상깊이 정보를 추출하고, 상기 영상감시영역으로부터의 주변 환경정보를 수집하는 단계와;
    상기 추출된 객체의 영상구조특징과, 영상깊이 및 상기 수집된 영상감시영역의 주변 환경정보에 의해서 아래의 객체 3차원 학습모델에 따라 객체를 3차원 객체화하는 단계;

    상기 객체 3차원 학습모델은,
    a) 객체를 인식할 경우에, 다수의 상이한 객체별로 주변환경 유형에 따라 객체를 영상구조특징 및 영상깊이로 분류하여 3차원 객체화하고,
    다수의 상이한 3차원 객체별로 대응하여 영상평면 상에 타원의 방정식을 생성해서 학습 모델을 정의하고,
    상기 3차원 객체화가 될 경우에는, 다수의 상이한 객체별로 주변환경 유형에 따라서 윤곽선 패턴을 학습한 결과로부터 객체의 영상구조특징 및 영상깊이를 분류하며,
    b) 다수의 상이한 객체와, 주변환경 유형별로 영상구조특징 및 영상깊이 데이터셋을 추출하고,
    c) 상기 추출된 데이터셋을 다수의 상이한 영상감시 장소와, 시간대, 주변환경 유형을 반영하여 속성화하며,
    d) 상기 속성화된 결과를 기초로 한 다수의 상이한 학습 모델별로 객체의 영상구조특징 및 영상깊이의 속성을 결정하고,
    e) 상기 결정된 결과를 정규화해서,
    f) 상기 정규화된 결과를 기초로 해서 다수의 상이한 학습 모델별로 객체의 영상구조특징 및 영상깊이를 설정하여, 다수의 상이한 3차원 객체별로 객체화하는 독립 및 종속 변수를 설정하고,
    g) 상기 설정된 결과를 학습 및 훈련 데이터로 생성하여,
    h) 상기 생성된 결과로부터 딥러닝 기반의 객체 3차원 학습모델을 생성하고,

    상기 획득된 3차원 객체에 의해 객체를 추출하여 인식하는 단계; 를 포함하고,
    상기 제 8 단계는,
    상기 영상 분포도에 의해 객체의 전체 크기와 위치가 추정될 경우에, 미리 설정된 이상 객체 영상분포도로부터 현재 객체의 영상분포도를 비교해서, 미리 설정된 차이값보다 이상인 경우에 알람하고 미만인 경우에는 알람하지 않으며,
    상기 제 8 단계는,
    상기 알람이 될 경우에, 알람을 차량과, 번호판의 유형과, 관리영역 유형, 관리목적 유형 및 관리시간대별로 등급화해서 처리하는 포맷을 구비하여 현재 알람을 해당하는 등급에 따라 수행하는 것; 을 특징으로 하는 라이다와 영상카메라를 이용한 멀티 표적 추적 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 영상감시영역으로부터의 환경정보를 수집하는 단계는,
    상기 주변 환경정보가 수집될 경우에, 다수의 상이한 영상감시 시스템 유형별로 고유한 통신데이터 특성을 오픈된 공통플랫폼 하에서 통합적으로 구성한 통신기능용 라이브러리를 미리 등록하는 제 2-1 단계;
    상기 다수의 상이한 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 통신기능용 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성하는 제 2-2 단계; 및
    상기 생성된 어플리케이션과 컴포넌트에 의해 상기 영상감시 주변의 환경정보를 수집하는 제 2-3 단계; 를 포함하는 것을 특징으로 하는 라이다와 영상카메라를 이용한 멀티 표적 추적 방법.
  6. 청구항 5에 있어서,
    상기 영상감시영역으로부터의 주변 환경정보를 수집하는 단계는,
    상기 주변 환경정보가 수집될 경우에, 영상감시 시스템 유형별로 고유한 데이터 특성과, 어플리케이션, 제어 동작환경 및 서비스를 오픈된 공통플랫폼 하에서 통합적으로 구성한 개발가이드 라이브러리를 미리 등록하는 제 2-1’단계; 및
    상기 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 개발가이드 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성하는 제 2-2’단계; 를 더 포함하고,

    상기 제 2-3 단계는,
    상기 제 2-2’단계에 의해 생성된 어플리케이션과 컴포넌트를 추가적으로 사용해서 상기 영상감시 영역의 주변 환경정보를 수집하는 것; 을 특징으로 하는 라이다와 영상카메라를 이용한 멀티 표적 추적 방법.
  7. 청구항 6에 있어서,
    상기 영상감시영역으로부터의 주변 환경정보를 수집하는 단계는,
    상기 주변 환경정보가 수집될 경우에, 영상감시 시스템별로 고유한 실시간 모니터링과 제어용 어플리케이션 제작특성과, 다른 관리자와의 공유용 편집기 및 상기 편집기를 통해 제어할 영상감시 시스템을 연결하는 도구를 미리 등록하고,
    상기 연결된 영상감시 시스템으로부터 수집된 정보를 관리자 앱 서비스로 표현하는 컴포넌트와, 상기 컴포넌트를 제작 및 오픈 API로 등록하여 사용하는 기능도 미리 등록하는 제 2-1'' 단계; 및
    상기 등록된 결과를 오픈플랫폼 하에서 해당하는 서비스 앱으로 구성해서 실행파일로 생성하는 제 2-2'' 단계; 를 더 포함하고,

    상기 제 2-3 단계는,
    상기 생성된 실행파일에 의해서 영상감시 시스템을 실시간 모니터링과 제어하므로, 상기 영상감시 영역의 주변 환경정보를 수집하는 것; 을 특징으로 하는 라이다와 영상카메라를 이용한 멀티 표적 추적 방법.
  8. 청구항 7에 있어서,
    상기 영상감시영역으로부터의 주변 환경정보를 수집하는 단계는,
    상기 주변 환경정보가 수집될 경우에, 영상감시 시스템별로 고유한 실시간 모니터링과 제어용 어플리케이션 제작특성과, 다른 관리자와의 공유용 편집기 및 상기 편집기를 통해 제어할 영상감시 시스템을 연결하는 도구를 미리 등록하고,
    상기 연결된 영상감시 시스템으로부터 수집된 정보를 관리자 앱 서비스로 표현하는 컴포넌트와, 상기 컴포넌트를 제작 및 오픈 API로 등록하여 사용하는 기능도 미리 등록하는 제 2-1’‘’ 단계; 및
    상기 등록된 결과를 오픈플랫폼 하에서 해당하는 서비스 앱으로 구성해서 실행파일로 생성하는 제 2-2‘’‘ 단계; 를 더 포함하고,

    상기 제 2-3 단계는,
    상기 생성된 실행파일에 의해서 영상감시 시스템을 실시간 모니터링과 제어하므로, 상기 영상감시 영역의 주변 환경정보를 수집하는 것; 을 특징으로 하는 라이다와 영상카메라를 이용한 멀티 표적 추적 방법.
  9. 청구항 5 내지 청구항 8 중의 어느 한 항에 있어서,
    상기 영상감시영역으로부터의 주변 환경정보를 수집하는 단계는,
    A) 상기 주변 환경정보가 수집될 경우에, 영상감시 시스템의 데이터전송사양을 미리 설정된 기준 데이터전송사양과 비교해서,
    B) 상기 비교 결과, 영상감시 시스템의 데이터전송사양이 상기 기준 데이터전송사양보다 이상인 경우에 현재 상태를 유지하고, 반면에 미만인 경우에는 암호화를 위한 버퍼를 할당하여 초기화하고,
    C) 미리 설정된 마스터 키를 통해 암호화 키를 생성하며,
    D) 상기 영상감시 영역의 주변 환경정보를 읽고,
    E) 상기 주변 환경정보의 길이와, 다수의 상이한 영상감시 시스템별로 대응하여 미리 설정된 암호화 데이터 길이 중에서 해당 암호와 데이터 길이를 비교하고,
    F) 상기 비교 결과, 상기 주변 환경정보의 길이가 해당하는 암호화 데이터 길이보다 작은 경우 암호화 하지 않고 전송하며, 큰 경우에는 프레임을 검출하고,
    G) 확장 헤더는 확장 비트를 읽어 유무를 확인하고,
    H) 상기 확인 결과, 확장 비트가 있는 경우에 페이로드 시작점 오프셋을 확장 길이만큼 이동시키고,
    I) 상기 프레임과, 암호용 키 및 페이로드 오프셋 정보를 파라미터로 전달받아 프레임의 페이로드 시작부분을 미리 설정된 암호화 포맷으로 부분 암호화해서 저성능 영상감시 시스템을 위한 경량 프로토콜로서 제공하는 것; 을 특징으로 하는 라이다와 영상카메라를 이용한 멀티 표적 추적 방법.
  10. 청구항 9에 있어서,
    상기 영상감시영역으로부터의 주변 환경정보를 수집하는 단계는,
    a) 상기 주변 환경정보를 수집하기 위해서, 미리 상이한 어플리케이션별로 해시트리를 기준으로 하위 해시값을 부여하고, 상기 해시트리의 상위 해시값을 등록해서,
    현재 주변 환경정보가 수집되는데 사용하는 어플리케이션별로 해시값을 연결해서 해시노드를 형성한 경우에 보안이 된 것으로 확인하는 포맷을 등록하고,
    b) 상기 주변 환경정보가 수집될 경우에, 상기 포맷에 의해서 관련된 어플리케이션별로 해시값을 연결하여 해시노드를 형성한 경우에 한해서 보안이 된 것으로 확인하고,
    c) 상기 주변 환경정보가 수집될 경우에 추가적으로 어플리케이션 사용을 감지해서 상기 감지 결과, 어플리케이션 사용이 된 경우에 화이트 리스트 및 블랙 리스트에 기반한 사용자 선택 모드에 따라 해당 어플리케이션의 시그니처 정보를 검색하고,
    d) 상기 검색 결과, 해당하는 어플리케이션 시그니처 정보가 있는 경우 자신의 어플리케이션 사용을 허용하고, 반면에 해당 어플리케이션 시그니처 정보가 없는 경우에는 자신의 어플리케이션 사용을 차단하는 것;을 특징으로 하는 라이다와 영상카메라를 이용한 멀티 표적 추적 방법.
KR1020210041321A 2021-03-30 2021-03-30 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 KR102282800B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210041321A KR102282800B1 (ko) 2021-03-30 2021-03-30 라이다와 영상카메라를 이용한 멀티 표적 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210041321A KR102282800B1 (ko) 2021-03-30 2021-03-30 라이다와 영상카메라를 이용한 멀티 표적 추적 방법

Publications (1)

Publication Number Publication Date
KR102282800B1 true KR102282800B1 (ko) 2021-07-28

Family

ID=77126173

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210041321A KR102282800B1 (ko) 2021-03-30 2021-03-30 라이다와 영상카메라를 이용한 멀티 표적 추적 방법

Country Status (1)

Country Link
KR (1) KR102282800B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674321A (zh) * 2021-08-25 2021-11-19 燕山大学 一种基于云端的监控视频下多目标跟踪的方法
KR102418476B1 (ko) * 2021-09-14 2022-07-07 주식회사 다이노 2차원 이미지 데이터와 3차원 뎁스 데이터를 이용하여 차량 번호판의 판독과 위조와 오염 여부의 판단을 정밀하게 수행하는 주차관제시스템의 운영방법
KR102430723B1 (ko) 2022-01-27 2022-08-10 헬리오센 주식회사 투명모니터와 3d 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템
CN117367331A (zh) * 2023-12-04 2024-01-09 山西阳光三极科技股份有限公司 一种矿区地表形变的雷达监测方法、装置以及电子设备
CN117784162A (zh) * 2024-02-26 2024-03-29 安徽蔚来智驾科技有限公司 目标标注数据获取方法、目标跟踪方法、智能设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102122859B1 (ko) * 2020-03-03 2020-06-15 (주)사라다 교통 영상감시시스템의 멀티 표적 추적 방법
KR102230132B1 (ko) * 2020-05-08 2021-03-19 한화시스템 주식회사 표적 추적 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102122859B1 (ko) * 2020-03-03 2020-06-15 (주)사라다 교통 영상감시시스템의 멀티 표적 추적 방법
KR102230132B1 (ko) * 2020-05-08 2021-03-19 한화시스템 주식회사 표적 추적 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674321A (zh) * 2021-08-25 2021-11-19 燕山大学 一种基于云端的监控视频下多目标跟踪的方法
CN113674321B (zh) * 2021-08-25 2024-05-17 燕山大学 一种基于云端的监控视频下多目标跟踪的方法
KR102418476B1 (ko) * 2021-09-14 2022-07-07 주식회사 다이노 2차원 이미지 데이터와 3차원 뎁스 데이터를 이용하여 차량 번호판의 판독과 위조와 오염 여부의 판단을 정밀하게 수행하는 주차관제시스템의 운영방법
KR102430723B1 (ko) 2022-01-27 2022-08-10 헬리오센 주식회사 투명모니터와 3d 깊이 카메라를 이용한 관리자 시선 맞춤형 정보제공 시스템
CN117367331A (zh) * 2023-12-04 2024-01-09 山西阳光三极科技股份有限公司 一种矿区地表形变的雷达监测方法、装置以及电子设备
CN117367331B (zh) * 2023-12-04 2024-03-12 山西阳光三极科技股份有限公司 一种矿区地表形变的雷达监测方法、装置以及电子设备
CN117784162A (zh) * 2024-02-26 2024-03-29 安徽蔚来智驾科技有限公司 目标标注数据获取方法、目标跟踪方法、智能设备及介质

Similar Documents

Publication Publication Date Title
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
US11080995B2 (en) Roadway sensing systems
US10713490B2 (en) Traffic monitoring and reporting system and method
KR102272295B1 (ko) 영상의 깊이정보를 이용한 차량번호판 인식률 향상 방법
US9679203B2 (en) Traffic violation detection
US11380105B2 (en) Identification and classification of traffic conflicts
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
Morris et al. A survey of vision-based trajectory learning and analysis for surveillance
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
KR102272279B1 (ko) 인공지능 알고리즘을 이용한 차량번호판 인식 방법
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
KR20200071799A (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
KR102174556B1 (ko) 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치
Mithun et al. Video-based tracking of vehicles using multiple time-spatial images
WO2014160027A1 (en) Roadway sensing systems
Kezebou et al. A deep neural network approach for detecting wrong-way driving incidents on highway roads
KR20210158037A (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
Ata et al. A fine tuned tracking of vehicles under different video degradations
Wu et al. Detection of moving violations
Malinovskiy et al. A simple and model-free algorithm for real-time pedestrian detection and tracking
KR102317311B1 (ko) 영상을 이용한 정보 분석 시스템 및 그에 관한 방법
Ramteke et al. Ai based traffic signal control system
KR102498538B1 (ko) 세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant