JP2022023887A - Appearance search system and method - Google Patents
Appearance search system and method Download PDFInfo
- Publication number
- JP2022023887A JP2022023887A JP2021171909A JP2021171909A JP2022023887A JP 2022023887 A JP2022023887 A JP 2022023887A JP 2021171909 A JP2021171909 A JP 2021171909A JP 2021171909 A JP2021171909 A JP 2021171909A JP 2022023887 A JP2022023887 A JP 2022023887A
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- learning machine
- objects
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 134
- 238000004590 computer program Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 68
- 238000004458 analytical method Methods 0.000 claims description 47
- 238000003860 storage Methods 0.000 claims description 43
- 238000013528 artificial neural network Methods 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000009966 trimming Methods 0.000 description 93
- 239000013598 vector Substances 0.000 description 77
- 230000000007 visual effect Effects 0.000 description 35
- 238000001514 detection method Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 238000007726 management method Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 241000282412 Homo Species 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
関連出願
本明細書は、2016年12月5日に出願された米国仮特許出願第62/430,292号、および2017年6月30日に出願された米国仮特許出願第62/527,894号の利益を主張するものであり、両文献を参照してその全容を本願に援用する。
Related Applications This is a US provisional patent application filed on December 5, 2016, Nos. 62 / 430,292, and a US provisional patent application filed on June 30, 2017, Nos. 62 / 527,894. It asserts the interests of the issue, and the entire contents are incorporated in the present application with reference to both documents.
技術分野
本主題は、映像監視、さらに詳細には、映像監視システムの映像にある関心オブジェクトを識別することに関する。
Technical Field This subject relates to video surveillance, and more specifically to identifying objects of interest in the video of video surveillance systems.
コンピュータ実行型の視覚オブジェクト分類は、オブジェクト認識とも呼ばれ、カメラで撮影した静止画または動画に見られる実生活のオブジェクトの視覚表現を分類することに関わるものである。視覚によるオブジェクト分類を実施することによって、静止画または動画に見られる各視覚オブジェクトは、その種類(例えばヒト、車両、または動物など)に応じて分類される。 Computer-executed visual object classification, also known as object recognition, involves classifying the visual representation of real-life objects found in still images or moving images taken with a camera. By performing visual object classification, each visual object found in a still image or moving image is classified according to its type (eg, human, vehicle, or animal, etc.).
自動のセキュリティおよび監視システムでは、通常ビデオカメラまたはその他の撮像装置またはセンサを用いて映像または映像フィート数などの画像データを収集する。最も単純なシステムでは、画像データで表現された画像は、セキュリティ担当者によって同時放映用に表示され、かつ/またはセキュリティが侵害された後にあとで見直すために記録される。そのようなシステムでは、視覚的関心オブジェクトを検知し分類する作業は、人間の観察者によって行われる。システム自体がオブジェクトの検知および分類を一部であっても全部であっても実施する能力がある場合は、著しい進歩が生じる。 Automatic security and surveillance systems typically use a video camera or other imaging device or sensor to collect image data such as video or video feet. In the simplest system, the image represented by the image data is displayed for simultaneous broadcast by a security officer and / or recorded for later review after a security breach. In such systems, the task of detecting and classifying visual objects of interest is performed by a human observer. Significant progress will be made if the system itself is capable of performing some or all object detection and classification.
通常の監視システムでは、環境内で動くヒト、車両、動物などのオブジェクトを検知することに関心を寄せることがある。しかしながら、例えば子どもが大型ショッピングモールで迷子になった場合、セキュリティ担当者がその迷子の子どもに対して映像フィート数を手作業で見直すには非常に時間がかかる可能性がある。カメラで取り込んだ画像データで表現された画像内のオブジェクトのコンピュータ実行型の検知では、関連する映像セグメントをセキュリティ担当者が見直す作業を著しく容易にして、迷子の子どもを適時に発見することができる。 Normal surveillance systems may be interested in detecting objects such as humans, vehicles, and animals moving in the environment. However, if, for example, a child gets lost in a large shopping center, it can be very time consuming for security personnel to manually review the video feet for the lost child. Computer-executed detection of objects in images represented by camera-captured image data significantly facilitates the task of security personnel reviewing relevant video segments and helps detect lost children in a timely manner. ..
とは言うものの、オブジェクトを検知して認識し、どのオブジェクトが似ているのかを検知して認識するためのコンピュータ実行型の映像解析は、とりわけ所望の精度が上がるにつれて相当な計算資源を必要とする。資源の利用を最適にするために処理を分散できれば、コンピュータによる実行が容易になる。 That said, computer-executed video analysis to detect and recognize objects and detect and recognize which objects are similar requires considerable computational resources, especially as the desired accuracy increases. do. If the processing can be distributed to optimize the use of resources, it will be easier to execute by computer.
本開示の第1の態様では、ある場面の映像を取り込むように構成された1つ以上のカメラを備え、映像がオブジェクトの画像を有している、外観検索システムが提供される。本システムは、1つ以上のプロセッサおよびメモリであって、メモリに記憶されるコンピュータプログラムコードを含み、1つ以上のプロセッサによって実行されたときにその1つ以上のプロセッサがある方法を実施するように構成される、プロセッサおよびメモリを備えている。本方法は、オブジェクトの画像内にある1つ以上のオブジェクトを識別することを含む。本方法はさらに、識別したオブジェクトのシグネチャを生成し、関心オブジェクトのシグネチャを生成するように構成された学習機械を実装することを含む。本システムはさらに、カメラからのオブジェクトの画像を1つ以上のプロセッサに送信するように構成されたネットワークを含む。本方法はさらに、識別したオブジェクトのシグネチャを関心オブジェクトのシグネチャと比較して識別したオブジェクトに対する類似度スコアを生成することと、類似度スコアに基づいてオブジェクトの画像の1つ以上をディスプレイに提示する命令を伝送することとを含む。 A first aspect of the present disclosure provides an appearance search system comprising one or more cameras configured to capture an image of a scene, wherein the image has an image of an object. The system implements a method of having one or more processors and memory, including computer program code stored in memory, the one or more processors when executed by one or more processors. It has a processor and memory configured in. The method comprises identifying one or more objects within an image of the object. The method further comprises implementing a learning machine configured to generate the signature of the identified object and generate the signature of the object of interest. The system further includes a network configured to send images of objects from cameras to one or more processors. The method further compares the signature of the identified object with the signature of the object of interest to generate a similarity score for the identified object and presents one or more images of the object to the display based on the similarity score. Includes transmitting instructions.
本システムはさらに、識別したオブジェクトから生成したシグネチャ、および映像を記憶する記憶システムを備えていてよい。
実装された学習機械は第2の学習機械であってよく、識別は、1つ以上のプロセッサによって実装された第1の学習機械によって実施されてよい。
The system may further include a storage system for storing signatures generated from identified objects and video.
The implemented learning machine may be a second learning machine and the identification may be performed by a first learning machine implemented by one or more processors.
第1および第2の学習機械は、ニューラルネットワークを含んでいてよい。ニューラルネットワークは、畳み込みニューラルネットワークを含んでいてよい。ニューラルネットワークまたは畳み込みニューラルネットワークは、訓練モデルを含む。 The first and second learning machines may include a neural network. The neural network may include a convolutional neural network. Neural networks or convolutional neural networks include training models.
本システムはさらに、第1および第2の学習機械を稼働させる1つ以上のグラフィックスプロセッシングユニットを含んでいてよい。
1つ以上のカメラはさらに、映像解析を用いてオブジェクトの画像を取り込むように構成されてよい。
The system may further include one or more graphics processing units that operate the first and second learning machines.
The one or more cameras may be further configured to capture an image of the object using video analysis.
1つ以上のカメラはさらに、オブジェクトの分類によってオブジェクトの画像を選別するように構成されてよい。1つ以上のカメラはさらに、ヒトオブジェクトを含む1つ以上の画像を識別するように構成されてよく、ネットワークはさらに、識別した画像のみを1つ以上のプロセッサに送信するように構成されてよい。 One or more cameras may be further configured to sort out images of objects by object classification. One or more cameras may be further configured to identify one or more images containing human objects, and the network may be further configured to send only the identified images to one or more processors. ..
オブジェクトの画像は、映像の画像フレームの部分を含んでいてよい。画像フレームの部分は、画像フレームの第1の画像部分を含んでいてよく、第1の画像部分は、少なくともオブジェクトを含む。画像フレームの部分は、画像フレームの第2の画像部分を含んでいてよく、第2の画像部分は、第1の画像部分よりも大きい。第1の学習機械は、第2の学習機械に対して、第2の画像部分内の1つ以上のオブジェクト、またはそのすべての輪郭を描くように構成されてよい。 The image of the object may include a portion of the image frame of the video. The portion of the image frame may include a first image portion of the image frame, the first image portion including at least an object. The portion of the image frame may include a second image portion of the image frame, the second image portion being larger than the first image portion. The first learning machine may be configured to outline one or more objects in the second image portion, or all of them, with respect to the second learning machine.
1つ以上のカメラはさらに、映像からオブジェクトの画像を抜き出せるように基準座標を生成するように構成されてよい。記憶システムは、基準座標を記憶するように構成されてよい。 The one or more cameras may be further configured to generate reference coordinates so that the image of the object can be extracted from the video. The storage system may be configured to store reference coordinates.
1つ以上のカメラはさらに、ある一定時間にわたって取り込まれた映像から1つ以上の画像を選択してオブジェクトの1つ以上の画像を得るように構成されてよい。
オブジェクトの識別は、画像にある1つ以上のオブジェクトの輪郭を描くことを含んでいてよい。
The one or more cameras may be further configured to select one or more images from the images captured over a period of time to obtain one or more images of the object.
Object identification may include outlining one or more objects in an image.
識別は、少なくとも1つの画像内の複数のオブジェクトを識別することと、少なくとも1つの画像を複数の分割画像に分割し、1つ1つの分割画像が識別したオブジェクトのうちの1つの少なくとも一部を含むこととを含んでいてよい。本方法はさらに、1つ1つの識別したオブジェクトに対し、信頼度を判定することと、信頼度が信頼要件を満たしていない場合に、識別および分割を第1の学習機械に実施させるか、または、信頼度が信頼要件を満たしている場合に、識別および分割を第2の学習機械に実施させることとを含んでいてよい。 Identification is to identify a plurality of objects in at least one image, and to divide at least one image into a plurality of divided images, and at least a part of one of the objects identified by each divided image. May include and include. The method further determines the reliability of each identified object and causes the first learning machine to perform identification and division when the reliability does not meet the reliability requirement. It may include having a second learning machine perform the identification and division when the reliability meets the reliability requirement.
1つ以上のカメラはさらに、信頼度を判定する1つ以上の映像解析モジュールを備えていてよい。
本開示のさらに別の態様では、ある場面の映像を取り込み、映像がオブジェクトの画像を有していることを含む方法が提供される。本方法はさらに、オブジェクトの画像内にある1つ以上のオブジェクトを識別することを含む。本方法はさらに、学習機械を用いて、識別したオブジェクトのシグネチャ、および関心オブジェクトのシグネチャを生成することを含む。本方法はさらに、識別したオブジェクトのシグネチャを関心オブジェクトの第1のシグネチャと比較することによって、識別したオブジェクトに対する類似度スコアを生成することを含む。本方法はさらに、類似度スコアに基づいてオブジェクトの1つ以上の画像をディスプレイに提示することを含む。
The one or more cameras may further include one or more video analysis modules for determining reliability.
In yet another aspect of the present disclosure, there is provided a method of capturing a video of a scene, comprising the video having an image of an object. The method further comprises identifying one or more objects within the image of the object. The method further comprises using a learning machine to generate the signature of the identified object and the signature of the object of interest. The method further comprises generating a similarity score for the identified object by comparing the signature of the identified object with the first signature of the object of interest. The method further comprises presenting one or more images of the object on the display based on the similarity score.
本方法はさらに、上記の工程または動作のいずれかを本開示の第1の態様と合わせて実施することを含んでいてよい。
本開示のさらに別の態様では、1つ以上のプロセッサで実行可能なコンピュータプログラムコードが記憶され、1つ以上のプロセッサによって実行されたときに1つ以上のプロセッサがある方法を実施するように構成される、コンピュータ可読媒体が提供される。本方法は、ある場面の映像を取り込み、映像がオブジェクトの画像を有していることを含む。本方法はさらに、オブジェクトの画像内にある1つ以上のオブジェクトを識別することを含む。本方法はさらに、学習機械を用いて、識別したオブジェクトのシグネチャ、および関心オブジェクトのシグネチャを生成することを含む。本方法はさらに、識別したオブジェクトのシグネチャを関心オブジェクトの第1のシグネチャと比較することによって、識別したオブジェクトに対する類似度スコアを生成することを含む。本方法はさらに、類似度スコアに基づいてオブジェクトの1つ以上の画像をディスプレイに提示することを含む。
The method may further comprise performing any of the above steps or operations in conjunction with the first aspect of the present disclosure.
Yet another aspect of the present disclosure is configured to store computer program code that can be executed by one or more processors and to implement a method in which one or more processors are present when executed by one or more processors. A computer-readable medium is provided. The method includes capturing an image of a scene and having the image having an image of an object. The method further comprises identifying one or more objects within the image of the object. The method further comprises using a learning machine to generate the signature of the identified object and the signature of the object of interest. The method further comprises generating a similarity score for the identified object by comparing the signature of the identified object with the first signature of the object of interest. The method further comprises presenting one or more images of the object on the display based on the similarity score.
1つ以上のプロセッサによって実施される方法はさらに、上記の工程または動作のいずれかを本開示の第1の態様と合わせて実施することを含んでいてよい。
本開示のさらに別の態様では、ある場面の映像を取り込むように構成された1つ以上のカメラを備えているシステムが提供される。本システムはさらに、1つ以上のプロセッサおよびメモリに記憶されるコンピュータプログラムコードを含むメモリを備え、1つ以上のプロセッサによって実行されたときにその1つ以上のプロセッサがある方法を実施するように構成される。本方法は、映像からチップを抜き出すことを含み、チップは、オブジェクトの画像を含む。本方法はさらに、少なくとも1つのチップ内にある複数のオブジェクトを識別することを含む。本方法はさらに、少なくとも1つのチップを複数の分割チップに分割することを含み、1つ1つの分割したチップは、識別したオブジェクトのうちの1つの少なくとも一部を含む。
The method performed by one or more processors may further include performing any of the above steps or operations in conjunction with the first aspect of the present disclosure.
Yet another aspect of the present disclosure is a system comprising one or more cameras configured to capture video of a scene. The system further comprises one or more processors and memory containing computer program code stored in the memory so that when executed by one or more processors, that one or more processors implements the method. It is composed. The method comprises extracting a chip from the video, the chip including an image of an object. The method further comprises identifying a plurality of objects within at least one chip. The method further comprises splitting at least one chip into a plurality of split chips, where each split chip comprises at least a portion of one of the identified objects.
本方法はさらに、識別したオブジェクトのシグネチャを生成して関心オブジェクトのシグネチャを生成するように構成された学習機械を実装することを含んでいてよい。学習機械は第2の学習機械であってよく、識別および分割は、1つ以上のプロセッサによって実装された第1の学習機械によって実施されてよい。本方法はさらに、1つ1つの識別したオブジェクトに対して:信頼度を判定することと、信頼度が信頼要件を満たしていない場合に、第1の学習機械による識別および分割を実施させるか、または、信頼度が信頼要件を満たしている場合に、第2の学習機械による識別および分割を実施させることとを含んでいてよい。1つ以上のカメラは、信頼度を判定する1つ以上の映像解析モジュールを備えていてよい。 The method may further include implementing a learning machine configured to generate the signature of the identified object and generate the signature of the object of interest. The learning machine may be a second learning machine and the identification and division may be performed by a first learning machine implemented by one or more processors. The method further determines for each identified object: reliability is determined and, if reliability does not meet the reliability requirements, identification and division by a first learning machine is performed. Alternatively, it may include performing identification and division by a second learning machine when the reliability meets the reliability requirement. One or more cameras may include one or more video analysis modules for determining reliability.
少なくとも1つのチップは、少なくとも1つのパディング済チップを含んでいてよい。1つ1つのパディング済チップは、映像の画像フレームの第1の画像部分を含んでいてよい。少なくとも1つのチップはさらに、少なくとも1つのパディングしていないチップを含んでいてよい。1つ1つのパディングしていないチップは、映像の画像フレームの第2の画像部分を含んでいてよく、第2の画像部分は第1の画像部分よりも小さい。 The at least one chip may include at least one padded chip. Each padded chip may include a first image portion of an image frame of video. The at least one chip may further include at least one unpadded chip. Each unpadded chip may include a second image portion of the image frame of the video, the second image portion being smaller than the first image portion.
本開示のさらに別の態様では、1つ以上のプロセッサで実行可能なコンピュータプログラムコードが記憶され、1つ以上のプロセッサによって実行されたときに1つ以上のプロセッサがある方法を実施するように構成される、コンピュータ可読媒体が提供される。本方法は、ある場面の映像を得ることを含む。本方法はさらに、映像からチップを抜き出すことを含み、チップは、オブジェクトの画像を含む。本方法はさらに、少なくとも1つのチップ内にある複数のオブジェクトを識別することを含む。本方法はさらに、少なくとも1つのチップを複数の分割チップに分割することを含み、1つ1つの分割したチップは、識別したオブジェクトのうちの1つの少なくとも一部を含む。 Yet another aspect of the present disclosure is configured to store computer program code that can be executed by one or more processors and to implement a method in which one or more processors are present when executed by one or more processors. A computer-readable medium is provided. The method includes obtaining an image of a scene. The method further comprises extracting a chip from the video, the chip including an image of an object. The method further comprises identifying a plurality of objects within at least one chip. The method further comprises splitting at least one chip into a plurality of split chips, where each split chip comprises at least a portion of one of the identified objects.
1つ以上のプロセッサによって実施される方法はさらに、上記の工程または動作のいずれかを上記のシステムと直に合わせて実施することを含んでいてよい。
本開示のさらに別の態様では、場面の映像を取り込み、映像がオブジェクトの画像を有している、カメラと、映像に関連するオブジェクトの画像からシグネチャを生成し、関心オブジェクトの第1の画像から第1のシグネチャを生成する学習機械を含むプロセッサと、カメラからのオブジェクトの画像をプロセッサに送信するためのネットワークと、生成したオブジェクトのシグネチャおよび関連映像を記憶する記憶システムとを備え、プロセッサはさらに、画像からのシグネチャを関心オブジェクトの第1のシグネチャと比較して類似度スコアを生成し、さらに、類似度スコアがより高いオブジェクトの画像を準備してディスプレイでユーザに提示する、外観検索システムが提供される。
Methods performed by one or more processors may further include performing any of the steps or operations described above in direct alignment with the system described above.
In yet another aspect of the present disclosure, the image of the scene is captured, the image has an image of the object, the signature is generated from the image of the camera and the object associated with the image, and from the first image of the object of interest. The processor further comprises a processor including a learning machine that generates a first signature, a network for sending images of objects from the camera to the processor, and a storage system that stores the signatures of the generated objects and related images. An appearance search system that compares a signature from an image with the first signature of an object of interest to generate a similarity score, and also prepares an image of an object with a higher similarity score and presents it to the user on display. Provided.
いくつかの例示的な実施形態によれば、学習機械は、ニューラルネットワークである。
いくつかの例示的な実施形態によれば、ニューラルネットワークは、畳み込みニューラルネットワークである。
According to some exemplary embodiments, the learning machine is a neural network.
According to some exemplary embodiments, the neural network is a convolutional neural network.
いくつかの例示的な実施形態によれば、ニューラルネットワークは、訓練モデルである。
いくつかの例示的な実施形態によれば、グラフィックスプロセッシングユニットは、学習機械を稼働させるために使用される。
According to some exemplary embodiments, the neural network is a training model.
According to some exemplary embodiments, the graphics processing unit is used to operate the learning machine.
いくつかの例示的な実施形態によれば、オブジェクトの画像は、カメラで取り込まれ、映像解析を用いてカメラで処理される。
いくつかの例示的な実施形態によればオブジェクトの画像は、プロセッサに送信される前にカメラでオブジェクトの種類を分類することによって選別される。
According to some exemplary embodiments, the image of the object is captured by the camera and processed by the camera using video analysis.
According to some exemplary embodiments, an image of an object is sorted by classifying the type of object with a camera before it is sent to the processor.
いくつかの例示的な実施形態によれば、プロセッサに送信されるオブジェクトの種類は、ヒトである。
いくつかの例示的な実施形態によれば、映像からオブジェクトの画像を取り込むカメラはさらに、映像内の画像の基準座標を取り込んで、その基準座標に基づいてオブジェクトの画像を映像から抜き出せるようにすることを含む。
According to some exemplary embodiments, the type of object sent to the processor is human.
According to some exemplary embodiments, a camera that captures an image of an object from a video can also capture the reference coordinates of the image in the video and extract the image of the object from the video based on the reference coordinates. Including doing.
いくつかの例示的な実施形態によれば、映像から抜き出された画像は削除され、記憶システムは、シグネチャ、基準座標、および映像を記憶する。
いくつかの例示的な実施形態によれば、映像解析は、ある一定時間にわたってオブジェクトの1つ以上の画像を選択し、その期間に取り込んだオブジェクトの画像を表現する。
According to some exemplary embodiments, the image extracted from the video is deleted and the storage system stores the signature, reference coordinates, and video.
According to some exemplary embodiments, video analysis selects one or more images of an object over a period of time and represents the image of the object captured during that period.
本開示のさらに別の態様では、カメラによって取り込まれた映像にある関心オブジェクトに対して外観検索するコンピュータ実行型の方法であって、本方法は、カメラが撮った映像からオブジェクトの画像を抜き出すことと、オブジェクトの画像および映像をネットワーク上でプロセッサに送信することと、学習機械を用いて、オブジェクトの画像からのシグネチャをプロセッサによって生成することと、オブジェクトのシグネチャおよびオブジェクトに関連する映像を記憶システムに記憶することと、学習機械を用いて、任意の関心オブジェクトの画像からのシグネチャをプロセッサによって生成することと、プロセッサによって、記憶システムにある画像からのシグネチャを関心オブジェクトのシグネチャと比較して、1つ1つの比較に対して類似度スコアを生成することと、類似度スコアがより高いオブジェクトの画像を準備してディスプレイでユーザに提示することとを含む、方法が提供される。 Yet another aspect of the present disclosure is a computer-executed method of performing an appearance search for an object of interest in an image captured by a camera, wherein the method extracts an image of the object from the image taken by the camera. And, the image and video of the object are sent to the processor over the network, the learning machine is used to generate the signature from the image of the object by the processor, and the signature of the object and the video related to the object are stored. A learning machine is used to generate a signature from an image of any object of interest by the processor, and the processor compares the signature from the image in the storage system with the signature of the object of interest. Methods are provided that include generating a similarity score for each comparison and preparing an image of an object with a higher similarity score and presenting it to the user on a display.
本開示のさらに別の態様では、カメラによって取り込まれた映像にある関心オブジェクトに対して外観検索するコンピュータ実行型の方法であって、本方法は、カメラが撮った映像からオブジェクトの画像を抜き出すことと、オブジェクトの画像および映像をネットワーク上でプロセッサに送信することと、学習機械を用いて、オブジェクトの画像からのシグネチャをプロセッサによって生成し、オブジェクトの画像が、関心オブジェクトの画像を含むことと、オブジェクトのシグネチャおよびオブジェクトに関連する映像を記憶システムに記憶することと、記憶システムを介して関心オブジェクトの画像のインスタンスを検索することと、関心オブジェクトの画像のインスタンスに対する関心オブジェクトのシグネチャを記憶部から引き出すことと、プロセッサによって、記憶システムにある画像からのシグネチャを関心オブジェクトのシグネチャと比較して、1つ1つの比較に対して類似度スコアを生成することと、類似度スコアがより高いオブジェクトの画像を準備してディスプレイでユーザに提示することとを含む、方法が提供される。 Yet another aspect of the present disclosure is a computer-executed method of performing an appearance search for an object of interest in an image captured by a camera, wherein the method extracts an image of the object from the image taken by the camera. And, by sending the image and video of the object to the processor over the network, and using a learning machine, the processor generates a signature from the image of the object, and the image of the object contains the image of the object of interest. Stores the object's signature and video related to the object in the storage system, searches for an instance of the image of the object of interest through the storage system, and retrieves the signature of the object of interest for the instance of the image of the object of interest from the storage. Extraction and the processor comparing the signature from the image in the storage system with the signature of the object of interest to generate a similarity score for each comparison and for objects with a higher similarity score. Methods are provided, including preparing an image and presenting it to a user on a display.
本開示のさらに別の態様では、プロセッサによって実行されたときに、カメラによって取り込まれた映像にある関心オブジェクトを外観検索する方法であって、本方法は、カメラが撮った映像からオブジェクトの画像を抜き出すことと、オブジェクトの画像および映像をネットワーク上でプロセッサに送信することと、学習機械を用いて、オブジェクトの画像からのシグネチャをプロセッサによって生成し、オブジェクトの画像が、関心オブジェクトの画像を含むことと、オブジェクトのシグネチャおよびオブジェクトに関連する映像を記憶システムに記憶することと、記憶システムを介して関心オブジェクトの画像のインスタンスを検索することと、関心オブジェクトの画像のインスタンスに対する関心オブジェクトのシグネチャを記憶部から引き出すことと、プロセッサによって、記憶システムにある画像からのシグネチャを関心オブジェクトのシグネチャと比較して、1つ1つの比較に対して類似度スコアを生成することと、類似度スコアがより高いオブジェクトの画像を準備してディスプレイでユーザに提示することとを含む、方法をプロセッサに実施させる命令を記憶している、非一過性のコンピュータ可読記憶媒体が提供される。 Yet another aspect of the present disclosure is a method of visually searching for an object of interest in an image captured by a camera when executed by a processor, wherein the method retrieves an image of the object from the image taken by the camera. Extraction, sending the image and video of the object to the processor over the network, and using a learning machine, the processor generates a signature from the image of the object, and the image of the object contains the image of the object of interest. And stores the object's signature and the video associated with the object in the storage system, searches for an instance of the image of the object of interest through the storage system, and stores the signature of the object of interest for the instance of the image of the object of interest. The similarity score is higher, withdrawing from the unit and having the processor compare the signature from the image in the storage system with the signature of the object of interest to generate a similarity score for each comparison. A non-transient computer-readable storage medium is provided that stores instructions that force a processor to perform a method, including preparing an image of an object and presenting it to a user on a display.
詳細な説明では、以下の図面を参照する。 For a detailed description, refer to the following drawings.
簡略化のため、かつ説明を明瞭にするため、図面に示した要素は必ずしも原寸通りには描かれていないことが理解されるであろう。例えば、一部の要素の寸法は、明瞭にするために他の要素よりも誇張されていることがある。さらに、必要に応じて、対応する要素または同じ要素を示すために図面を通して符号が繰り返し用いられていることがある。 It will be appreciated that the elements shown in the drawings are not necessarily drawn to their original size for the sake of brevity and clarity of explanation. For example, the dimensions of some elements may be exaggerated over others for clarity. In addition, if necessary, the reference numerals may be used repeatedly throughout the drawings to indicate the corresponding element or the same element.
本明細書に記載した例示的な実施形態を徹底的に理解してもらうため、数々の具体的な詳細を記載している。しかしながら、本明細書に記載した実施形態は、これらの具体的な詳細がなくとも実施され得ることが当業者には理解されるであろう。他の事例では、本明細書に記載した実施形態を不明瞭にしないように、公知の方法、手順および構成要素を記載していない。さらに、この説明を決して本明細書に記載した実施形態の範囲を限定するものとしてとらえてはならず、むしろ本明細書に記載した様々な実施形態の実施を単に説明するものとしてとらえるべきである。 A number of specific details are provided to provide a thorough understanding of the exemplary embodiments described herein. However, it will be appreciated by those skilled in the art that the embodiments described herein can be practiced without these specific details. In other cases, known methods, procedures and components are not described so as not to obscure the embodiments described herein. Moreover, this description should never be taken as limiting the scope of the embodiments described herein, but rather merely as a description of the implementation of the various embodiments described herein. ..
「a(1つの)」または「an(1つの)」という単語が請求項および/または明細書で「comprising(備えている)」または「including(含む)」という用語と一緒に用いられている場合、それは「1つ」を意味することがあるが、特に明記しない限り、「1つ以上の」、「少なくとも1つの」、および「1つよりも多い」の意味とも同じである。同じように、「another(別の)」という単語は、特に明記しない限り、少なくとも2つ目以降を意味することがある。 The words "a" or "an" are used in claims and / or in the specification together with the terms "comprising" or "inclusion". In some cases, it may mean "one", but unless otherwise stated, it is also the same as the meaning of "one or more", "at least one", and "more than one". Similarly, the word "another" may mean at least the second and subsequent words, unless otherwise stated.
本明細書で使用した「coupled(連結した)」、「coupling(連結している)」または「connected(接続した)」という用語は、これらの用語が使用されている文脈に応じていくつかの異なる意味を持つ可能性がある。例えば、連結した、連結している、接続したという用語は、機械的または電気的な意味合いを有する可能性がある。例えば、本明細書で使用したように、連結した、連結している、接続したという用語は、特定の文脈に応じて、電気要素、電気信号または機械要素を介して、2つの要素またはデバイスが互いに直接接続されているか、1つ以上の仲介する要素またはデバイスによって互いに接続されていることを指している可能性がある。 The terms "coupled," "coupled," or "connected" as used herein are several depending on the context in which these terms are used. May have different meanings. For example, the terms connected, connected, connected can have mechanical or electrical implications. For example, as used herein, the terms concatenated, concatenated, connected are two elements or devices via an electrical element, electrical signal or mechanical element, depending on the particular context. It may refer to being directly connected to each other or being connected to each other by one or more intermediary elements or devices.
本明細書では、画像は、複数の連続する画像フレームを包含することがあり、画像フレームは、映像撮影装置で撮影された映像を一緒に形成するものである。各画像フレームは、画素の行列で表現されてよく、各画素は画素画像値を有する。例えば、画素画像値は、グレースケールでの数値(例えば0~255)であってもよいし、カラー画像の場合は複数の数値であってもよい。画像データの画素画像値を表すのに使用される色空間の例として、RGB、YUV、CYKM、YCBCR4:2:2、YCBCR4:2:0の画像がある。 In the present specification, an image may include a plurality of consecutive image frames, and the image frames together form an image captured by a video photographing apparatus. Each image frame may be represented by a matrix of pixels, where each pixel has a pixel image value. For example, the pixel image value may be a numerical value on a gray scale (for example, 0 to 255), or may be a plurality of numerical values in the case of a color image. Examples of color spaces used to represent pixel image values of image data include RGB, YUV, CYKM, YCBCR4: 2: 2, and YCBCR4: 2: 0 images.
本明細書での「メタデータ」またはその派生語は、映像内の画像などの画像のコンピュータ実行型の解析で得た情報を指す。例えば、映像の処理は、映像データの画像処理作業、解析、管理、圧縮、符号化、記憶、伝送および/または再生を含み得るが、これに限定されない。映像の解析は、画像フレーム領域のセグメント化、および視覚オブジェクトの検知、画像データで表現された撮影場面内に位置する視覚オブジェクトの追跡および/または分類を含み得る。画像データの処理で、画像データまたは画像内に取り込まれた視覚オブジェクトに関する追加情報を出力させることも可能である。例えば、そのような追加情報は、一般にはメタデータであると理解される。メタデータは、画像データの他の処理、例えば画像フレーム内で検知されたオブジェクトの周りに境界ボックスを描くなどのためにも使用され得る。 As used herein, "metadata" or its derivatives refer to information obtained through computer-executed analysis of images, such as images in video. For example, video processing may include, but is not limited to, image processing work, analysis, management, compression, coding, storage, transmission and / or reproduction of video data. Analysis of the image may include segmentation of the image frame area, detection of visual objects, tracking and / or classification of visual objects located within the shooting scene represented by the image data. Image data processing can also output additional information about the image data or visual objects captured within the image. For example, such additional information is generally understood to be metadata. Metadata can also be used for other processing of image data, such as drawing a bounding box around objects detected within an image frame.
当業者には理解されるように、本明細書に記載した様々な例示的な実施形態は、方法、システム、またはコンピュータプログラム製品として具現化され得る。したがって、様々な例示的な実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)またはソフトウェアとハードウェアの側面を兼ね備えている実施形態の形態をとることが可能で、これらすべてを本明細書では総じて「回路」、「モジュール」または「システム」と称することがある。さらに、様々な例示的な実施形態は、媒体に組み込まれたコンピュータ使用可能プログラムコードを有するコンピュータ使用可能記憶媒体上のコンピュータプログラム製品の形態をとることが可能である。 As will be appreciated by those of skill in the art, the various exemplary embodiments described herein may be embodied as methods, systems, or computer program products. Accordingly, various exemplary embodiments are complete hardware embodiments, complete software embodiments (including firmware, resident software, microcode, etc.) or embodiments that combine software and hardware aspects. All of these may be referred to herein as "circuits," "modules," or "systems." Further, various exemplary embodiments can take the form of a computer program product on a computer-enabled storage medium having a computer-enabled program code embedded in the medium.
何らかの適切なコンピュータ使用可能媒体またはコンピュータ可読媒体を使用してよい。コンピュータ使用可能媒体またはコンピュータ可読媒体は、例えば、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、デバイス、または伝搬媒体であってよいが、これに限定されない。本明細書の文脈では、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはこれらに接続して使用するためのプログラムを含むことができ、記憶でき、通信でき、伝搬でき、または運搬できる任意の媒体であってよい。 Any suitable computer-enabled or computer-readable medium may be used. The computer-usable or computer-readable medium may be, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, device, or propagation medium. In the context of this specification, computer-enabled or computer-readable media can include, store, communicate, and include programs for use by, or in connection with, instruction execution systems, devices, or devices. It may be any medium that can be propagated or carried.
様々な例示的な実施形態の動作を実行するためのコンピュータプログラムコードは、Java、Smalltalk、C++、Pythonなどのオブジェクト指向プログラミング言語で書かれてよい。ただし、様々な例示的な実施形態の動作を実行するためのコンピュータプログラムコードは、従来の手続き型プログラミング言語、例えば「C」プログラミング言語または同様のプログラミング言語などで書かれてもよい。プログラムコードは、完全にコンピュータ上で、一部をコンピュータ上で、独立型のソフトウェアパッケージとして、一部をコンピュータ上でかつ一部を遠隔コンピュータ上で、または完全に遠隔コンピュータ上もしくはサーバ上で実行してよい。最後に記載した状況では、遠隔コンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を通してコンピュータに接続されてよく、あるいはこの接続は、外部コンピュータ(例えば、インターネットサービスプロバイダを利用するインターネットを通して)に対して行われてよい。 Computer program code for performing the operations of various exemplary embodiments may be written in an object-oriented programming language such as Java, Smalltalk, C ++, Python. However, the computer program code for performing the operations of various exemplary embodiments may be written in a conventional procedural programming language, such as a "C" programming language or a similar programming language. The program code runs entirely on the computer, partly on the computer, partly as a stand-alone software package, partly on the computer and partly on the remote computer, or entirely on the remote computer or server. You can do it. In the last context, the remote computer may be connected to the computer through a local area network (LAN) or wide area network (WAN), or this connection may be through an external computer (eg, the Internet utilizing an Internet service provider). ) May be done.
様々な例示的な実施形態を、本発明の実施形態による方法、装置(システム)およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して以下に説明する。フローチャート図および/またはブロック図の各ブロック、およびフローチャート図および/またはブロック図にあるブロックを組み合わせたものは、コンピュータプログラム命令によって実行され得ることが理解されるであろう。これらのコンピュータプログラム命令は、機械を製造するために、汎用コンピュータ、特殊用途のコンピュータ、またはその他のプログラム可能なデータ処理装置のプロセッサに提供されてよく、それによってコンピュータのプロセッサまたはその他のプログラム可能なデータ処理装置を介して実行する命令は、フローチャートおよび/またはブロック図の1つまたは複数のブロックで指定された機能/動作を実行する手段を作り出す。 Various exemplary embodiments will be described below with reference to flowcharts and / or block diagrams of methods, devices (systems) and computer program products according to embodiments of the present invention. It will be appreciated that each block of the flow chart and / or block diagram, and a combination of the blocks in the flow chart and / or block diagram, can be executed by computer program instructions. These computer program instructions may be provided to the processor of a general purpose computer, special purpose computer, or other programmable data processing device to manufacture the machine, thereby the computer's processor or other programmable. The instructions executed through the data processing device create means for performing the function / operation specified in one or more blocks of the flowchart and / or block diagram.
これらのコンピュータプログラム命令は、コンピュータまたはその他のプログラム可能なデータ処理装置に特定の方法で機能するよう指示できるコンピュータ可読メモリに記憶されることも可能で、それによってコンピュータ可読メモリに記憶された命令は、フローチャートおよび/またはブロック図の1つまたは複数のブロックで指定された機能/動作を実行する命令を含む製造の項目を生み出す。 These computer program instructions can also be stored in computer-readable memory that can instruct a computer or other programmable data processing device to function in a particular way, thereby storing instructions in computer-readable memory. , A flow diagram and / or a block diagram produces a manufacturing item containing instructions to perform a specified function / operation in one or more blocks.
コンピュータプログラム命令は、コンピュータまたはその他のプログラム可能なデータ処理装置にロードされて一連の動作工程をコンピュータまたはその他のプログラム可能な装置で実施させて、コンピュータ実行型のプロセスを生み出すことも可能であり、それによってコンピュータまたはその他のプログラム可能な装置で実行する命令は、フローチャートおよび/またはブロック図の1つまたは複数のブロックで指定された機能/動作を実行する工程を提供する。 Computer program instructions can also be loaded into a computer or other programmable data processing device to perform a series of operating steps on a computer or other programmable device to create a computer-executed process. Instructions executed thereby on a computer or other programmable device provide a step of performing a function / operation specified in one or more blocks of a flowchart and / or a block diagram.
図1を参照すると、図示されているのは、例示的な実施形態による映像取り込み再生システム100の接続デバイスのブロック図である。例えば、映像取り込み再生システム100は、映像監視システムとして使用されてよい。映像取り込み再生システム100は、本明細書に記載したプロセスおよび機能を実施するハードウェアおよびソフトウェアを備えている。
Referring to FIG. 1, what is illustrated is a block diagram of a connected device of the video capture /
映像取り込み再生システム100は、複数の画像を取り込み、取り込んだ複数の画像を表現する画像データを生成するよう動作する映像取り込みデバイス108を少なくとも1つ備えている。映像取り込みデバイス108またはカメラ108は、画像取り込みデバイスであり、セキュリティ映像カメラを含む。
The video capture /
各々の映像取り込みデバイス108は、複数の画像を取り込むための少なくとも1つの画像センサ116を備えている。映像取り込みデバイス108は、デジタル映像カメラであってよく、画像センサ116は、取り込んだ光をデジタルデータとして出力してよい。例えば、画像センサ116は、CMOS、NMOS、またはCCDであってよい。いくつかの実施形態では、映像取り込みデバイス108は、符号化器に接続しているアナログカメラであってよい。
Each
少なくとも1つの画像センサ116は、1つ以上の周波数範囲で光を取り込むよう動作し得る。例えば、少なくとも1つの画像センサ116は、実質的に可視光線の周波数範囲に相当する範囲で光を取り込むよう動作し得る。他の例では、少なくとも1つの画像センサ116は、可視光線の範囲外の光、例えば赤外線および/または紫外線の範囲内の光を取り込むよう動作し得る。他の例では、映像取り込みデバイス108は、別々の周波数範囲の光を取り込むよう動作する2つ以上のセンサを備えているマルチセンサカメラであってよい。
The at least one
少なくとも1つの映像取り込みデバイス108は、専用のカメラを備えていてよい。本明細書での専用のカメラとは、主な特徴が画像または映像を取り込むことであるカメラを指すことが理解されるであろう。いくつかの例示的な実施形態では、専用のカメラは、取り込んだ画像または映像に関連する機能を実施してよく、例えばカメラまたは別の映像取り込みデバイス108によって生成された画像データを処理するなどだが、これに限定されない。例えば、専用のカメラは、監視カメラであってよく、例えばパンチルトズームカメラ、ドームカメラ、天井内カメラ、ボックスカメラ、弾丸カメラのいずれか1つであってよい。
At least one
これに加えて、またはこの代わりに、少なくとも1つの映像取り込みデバイス108は、埋め込みカメラを備えていてよい。本明細書での埋め込みカメラとは、取り込んだ画像または映像とは無関係の機能を実施するよう動作するデバイス内に埋め込まれているカメラを指すことが理解されるであろう。例えば、埋め込みカメラは、ラップトップ、タブレット、ドローンデバイス、スマートフォン、映像ゲームのコンソールまたはコントローラのいずれか1つに見られるカメラであってよい。
In addition to or instead of this, at least one
各々の映像取り込みデバイス108は、1つ以上のプロセッサ124、このプロセッサおよび1つ以上のネットワークインターフェースに接続している1つ以上のメモリデバイス132を備えている。メモリデバイスは、プログラム命令の実行過程で用いられるローカルメモリ(例えば、ランダムアクセスメモリおよびキャッシュメモリなど)を備えることができる。プロセッサは、コンピュータプログラム命令(例えば、オペレーティングシステムおよび/またはアプリケーションプログラムなど)を実行し、この命令はメモリデバイスに記憶され得る。
Each
様々な実施形態では、プロセッサ124は、デジタルシグナルプロセッサ(DSP)、グラフィックスプロセッシングユニット(GPU)が埋め込まれたプロセッサなど、およびこの任意の適切な組み合わせを含む1つ以上の回路ユニットを有する任意の適切な処理回路によって実装されてよく、これらのプロセッサは、別々に動作するか平行して動作し、冗長に動作する可能性のあるものを含む。このような処理回路は、1つ以上の集積回路(IC)によって実装されてよく、モノリシック集積回路(MIC)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)など、またはこの任意の適切な組み合わせによって実装されることを含む。これに加えて、またはこの代わりに、このような処理回路は、例えばプログラマブルロジックコントローラ(PLC)として実装されてよい。プロセッサは、デジタルデータなどのメモリを記憶する回路を備えていてよく、かつメモリ回路を含むか、例えばメモリ回路と有線通信していてよい。
In various embodiments, the
様々な例示的な実施形態では、プロセッサ回路に接続しているメモリデバイス132は、データおよびコンピュータプログラム命令を記憶するよう動作する。典型的には、メモリデバイスは、デジタル電子集積回路の全体または一部であるか、あるいは複数のデジタル電子集積回路から形成されている。メモリデバイスは、例えば、リードオンリーメモリ(ROM)、プログラマブルリードオンリーメモリ(PROM)、消去可能なプログラマブルリードオンリーメモリ(EPROM)、電気消去可能なプログラマブルリードオンリーメモリ(EEPROM)、フラッシュメモリ、1つ以上のフラッシュドライブ、メモリユニットに接続しているユニバーサルシリアルバス(USB)、磁気記憶装置、光学記憶装置、光磁気記憶装置など、またはこの任意の組み合わせとして実装されてよい。メモリデバイスは、揮発メモリ、不揮発メモリ、動的メモリなどのメモリ、またはこの任意の組み合わせを記憶するよう動作してよい。
In various exemplary embodiments, the
様々な例示的な実施形態では、画像取り込みデバイス108の複数の構成要素は、システムオンチップ(SOC)の中にまとめて実装されてよい。例えば、プロセッサ124、メモリデバイス116およびネットワークインターフェースは、SOCの中に実装されてよい。さらに、このように実装した場合、汎用プロセッサとGPUおよびDSPの1つ以上とは、SOCの中にまとめて実装されてよい。
In various exemplary embodiments, the plurality of components of the
引き続き図1では、少なくとも1つの映像取り込みデバイス108の各々は、ネットワーク140に接続されている。各映像取り込みデバイス108は、このデバイスが取り込む画像が表現する画像データを出力し、画像データをネットワーク上に伝送するよう動作する。
Subsequently, in FIG. 1, each of the at least one
ネットワーク140は、データの送受信を行う任意の適切な通信ネットワークであってよいことが理解されるであろう。例えば、ネットワーク140は、ローカルエリアネットワーク、外部ネットワーク(例えば、WAN、またはインターネットなど)またはこの組み合わせであってよい。他の例では、ネットワーク140は、クラウドネットワークを含んでいてよい。
It will be appreciated that the
いくつかの例では、映像取り込み再生システム100は、処理機器148を備えている。処理機器148は、映像取り込みデバイス108によって出力された画像データを処理するよう動作する。処理機器148は、1つ以上のプロセッサおよびプロセッサ(CPU)に接続している1つ以上のメモリデバイスも備えている。処理機器148は、1つ以上のネットワークインターフェースも備えていてよい。説明の便宜上、1つの処理機器148のみを示しているが、映像取り込み再生システム100は、任意の適切な数の処理装置148を備えていてよいことが理解されるであろう。
In some examples, the video capture /
例えば、図示したように、処理機器148は、画像データを処理するためのメモリ132またはCPU124を有していないことがある映像取り込みデバイス108に接続されている。処理機器148は、さらにネットワーク140に接続されていてよい。
For example, as illustrated, the
1つの例示的な実施形態によれば、また図1に示したように、映像取り込み再生システム100は、少なくとも1つのワークステーション156(例えばサーバなど)を備え、その各々は、グラフィックスプロセッシングユニット(GPU)を含む1つ以上のプロセッサを有している。少なくとも1つのワークステーション156は、記憶メモリも備えていてよい。ワークステーション156は、少なくとも1つの映像取り込みデバイス108から画像データを受信し、画像データの処理を実施する。ワークステーション156は、さらに、画像取り込みデバイス108を1つ以上管理かつ/または制御するコマンドを送信してよい。ワークステーション156は、映像取り込みデバイス108から未処理の画像データを受信してよい。この代わりに、またはこれに加えてワークステーション156は、映像取り込みデバイス108および/または処理機器148での処理などの何らかの中間処理をすでに受けた画像データを受信してよい。ワークステーション156は、画像データからメタデータを受信して画像データのさらに別の処理を実施してもよい。
According to one exemplary embodiment, and as shown in FIG. 1, the video capture and
図1には単一のワークステーション156が示されているが、ワークステーションは複数のワークステーションの集合として実装されてよいことが理解されるであろう。
映像取り込み再生システム100は、ネットワーク140に接続している少なくとも1つのクライアントデバイス164をさらに備えている。クライアントデバイス164は、1人以上のユーザに使用されて映像取り込み再生システム100と相互作用する。したがって、クライアントデバイス164は、少なくとも1つの表示デバイスおよび少なくとも1つのユーザ入力デバイス(例えば、マウス、キーボード、またはタッチ画面など)を備えている。クライアントデバイス164はその表示デバイスに、情報を表示し、ユーザの入力内容を受信し、映像を再生するユーザインターフェースを表示するよう動作する。例えば、クライアントデバイスは、パーソナルコンピュータ、ラップトップ、タブレット、携帯情報端末(PDA)、携帯電話、スマートフォン、ゲーム機器、およびその他の移動型デバイスのいずれか1つであってよい。
Although FIG. 1 shows a single workstation 156, it will be appreciated that a workstation may be implemented as a collection of multiple workstations.
The video capture /
クライアントデバイス164は、ネットワーク140上で画像データを受信するよう動作し、さらに、受信した画像データを再生するよう動作する。クライアントデバイス164は、画像データを処理する機能も有していてよい。例えば、クライアントデバイス164の処理機能を、受信した画像データを再生する能力に関連する処理に限定することが可能である。他の例では、画像処理機能は、ワークステーションと1つ以上のクライアントデバイス164との間で共有されてよい。
The client device 164 operates to receive image data on the
いくつかの例では、画像取り込み再生システム100は、ワークステーション156なしで実装されてよい。したがって、画像処理機能は、全面的に1つ以上の映像取り込みデバイス108で実施されてよい。その代わりに、画像処理機能は、映像取り込みデバイス108、処理機器148およびクライアントデバイス164のうちの2つ以上で共有されてよい。
In some examples, the image capture and
次に図2Aを参照すると、図示されているのは、1つの例示的な実施形態による映像取り込み再生システム100の動作モジュールのセット200のブロック図である。動作モジュールは、図1に示したような映像取り込み再生システム100のデバイスの1つ以上にあるハードウェア、ソフトウェアまたはこの両方に実装されてよい。
Next, referring to FIG. 2A, illustrated is a block diagram of a
動作モジュールのセット200は、少なくとも1つの映像取り込みモジュール208を含む。例えば、各映像取り込みデバイス108は、映像取り込みモジュール208を実装してよい。映像取り込みモジュール208は、映像取り込みデバイス108の1つ以上の構成要素(例えば、センサ116など)を制御して画像を取り込むよう動作する。
The set of operating
動作モジュールのセット200は、画像データ処理モジュールのサブセット216を含む。例えば、図示したように、画像データ処理モジュールのサブセット216は、映像解析モジュール224および映像管理モジュール232を含む。
The set of operating
映像解析モジュール224は、画像データを受信し、画像データを解析して、取り込んだ画像または映像の特性もしくは特徴、および/または画像または映像で表現された場面に見られるオブジェクトの特性もしくは特徴を決定する。決定内容に基づいて、映像解析モジュール224はさらに、その決定に関する情報を提供するメタデータを出力してよい。映像解析モジュール224が行う決定の例として、前景/背景のセグメント化、オブジェクト検知、オブジェクト追跡、オブジェクト分類、仮想トリップワイヤ、異常な検知、顔検知、顔認識、ナンバープレート認識、「背後にある」または「削除された」オブジェクトの識別、およびビジネスインテリジェンスのうちの1つ以上を挙げ得る。ただし、先行技術で公知の他の映像解析機能も映像解析モジュール224によって実装されてよいことが理解されるであろう。
The
映像管理モジュール232は、画像データを受信し、映像の伝送、再生および/または記憶に関連する画像データに対して処理機能を実施する。例えば、映像管理モジュール232は、帯域幅要件および/または容量に従って画像データの伝送が可能になるように画像データを処理できる。映像管理モジュール232は、クライアントデバイス164のディスプレイの処理能力および/または解像度など、映像を再生するクライアントデバイス164の再生能力に応じて画像データを処理することもある。映像管理モジュール232は、画像データを記憶するために映像取り込み再生システム100内の記憶容量に応じて画像データを処理することもある。
The
いくつかの例示的な実施形態によれば、映像処理モジュールのサブセット216は、映像解析モジュール224および映像管理モジュール232のいずれか一方のみを含むことがあることが理解されるであろう。
According to some exemplary embodiments, it will be appreciated that the subset 216 of the video processing module may include only one of the
動作モジュールのセット200は、記憶モジュールのサブセット240をさらに含む。例えば、図示したように、記憶モジュールのサブセット240は、映像記憶モジュール248およびメタデータ記憶モジュール256を含む。映像記憶モジュール248は、画像データを記憶し、この画像データは、映像管理モジュールによって処理される画像データであってよい。メタデータ記憶モジュール256は、映像解析モジュール224から出力された情報データを記憶する。
The set of operating
映像記憶モジュール248およびメタデータ記憶モジュール256は、別々のモジュールとして示されているが、両者は同じハードウェア記憶デバイス内に実装されてよく、それによって記憶されたメタデータから記憶された映像を分離するための論理規則が実装されることが理解されるであろう。他の例示的な実施形態では、映像記憶モジュール248および/またはメタデータ記憶モジュール256は、分散記憶方式を実施してよい複数のハードウェア記憶デバイス内に実装されてよい。
Although the
動作モジュールのセットは、少なくとも1つの映像再生モジュール264をさらに含み、この映像再生モジュールは、画像データを受信し、画像データを映像として再生するよう動作する。例えば、映像再生モジュール264は、クライアントデバイス164に実装されてよい。
The set of operation modules further includes at least one
セット200の動作モジュールは、画像取り込みデバイス108、処理機器148、ワークステーション156およびクライアントデバイス164のうちの1つ以上に実装されてよい。いくつかの例示的な実施形態では、動作モジュールが単一のデバイスに全面的に実装されてよい。例えば、映像解析モジュール224は、ワークステーション156に全面的に実装されてよい。同じように、映像管理モジュール232は、ワークステーション156に全面的に実装されてよい。
The operation module of the
他の例示的な実施形態では、セット200の動作モジュールのいくつかの機能は、一部が第1のデバイスに実装されてよく、動作モジュールの残りの機能が第2のデバイスに実装されてよい。例えば、映像解析機能は、画像取り込みデバイス108、処理機器148およびワークステーション156のうちの1つ以上で分担されてよい。同じように、映像管理機能は、画像取り込みデバイス108、処理機器148およびワークステーション156のうちの1つ以上で分担されてよい。
In another exemplary embodiment, some of the functions of the
次に図2Bを参照すると、図示されているのは、1つの特定の例示的な実施形態による映像取り込み再生システム100の動作モジュールのセット200のブロック図であり、この実施形態では、映像解析モジュール224、映像管理モジュール232および記憶デバイス240は、1つ以上の画像取り込みデバイス108に全面的に実装される。あるいは、映像解析モジュール224、映像管理モジュール232および記憶デバイス240は、処理機器148に全面的に実装される。
Next, referring to FIG. 2B, illustrated is a block diagram of a set of 200 operating modules of a video capture /
画像データ(映像)処理モジュールのサブセット216を映像取り込み再生システム100の単一のデバイスまたは様々なデバイスに実装できるようにすることで、システム100の柔軟な構築が可能になることが理解されるであろう。
It is understood that by allowing the subset 216 of the image data (video) processing module to be mounted on a single device or various devices of the video capture /
例えば、何らかの機能を有している特定のデバイスをそのような機能のない別のデバイスと一緒に使用することを選択してよい。これは、別々の当事者(例えば製造業者)からのデバイスを統合したり、既存の映像取り込み再生システムを取り付けたりする場合に有用となり得る。 For example, you may choose to use a particular device that has some function with another device that does not have such a function. This can be useful when integrating devices from different parties (eg, manufacturers) or installing existing video capture and playback systems.
次に図3を参照すると、図示されているのは、映像取り込みデバイス108で取り込んだ映像の1つ以上の画像フレームに対して映像解析を実施する方法350の例示的な実施形態の流れ図である。映像解析は、映像解析モジュール224によって実施されて、取り込んだ画像または映像の特性または特徴、および/または映像内に取り込まれている場面に見られる視覚オブジェクトの特性または特徴を決定する。
Next, referring to FIG. 3, what is illustrated is a flow chart of an exemplary embodiment of
300では、映像の少なくとも1つの画像フレームを前景領域と背景領域とにセグメント化する。このセグメント化で、取り込まれた場面内の動いているオブジェクト(または事前に動いているオブジェクト)に対応する画像フレームの領域をその場面の静止領域から分離する。 At 300, at least one image frame of the video is segmented into a foreground area and a background area. This segmentation separates the area of the image frame that corresponds to the moving object (or pre-moving object) in the captured scene from the static area of the scene.
302では、画像フレームで表現された場面内の1つ以上の前景視覚オブジェクトを300のセグメント化に基づいて検知する。例えば、何らかのばらばらに隣接している前景領域または「ブロブ(blob)」は、場面内の前景視覚オブジェクトとして識別されてよい。例えば、ある特定のサイズ(例えば画素数など)よりも大きい隣接する前景領域のみが場面内の前景視覚オブジェクトとして識別される。 At 302, one or more foreground visual objects in the scene represented by the image frame are detected based on the segmentation of 300. For example, any loosely adjacent foreground area or "blob" may be identified as a foreground visual object in the scene. For example, only adjacent foreground areas larger than a certain size (eg, number of pixels) are identified as foreground visual objects in the scene.
検知された1つ以上の前景領域に関してさらにメタデータが生成されてよい。メタデータは、画像フレーム内で前景視覚オブジェクト、またはオブジェクトの位置、基準座標を規定してよい。例えば、位置メタデータをさらに使用して、検知した前景視覚オブジェクトの輪郭を示す境界ボックス(例えば映像を符号化するとき、または映像を再生するときなど)を生成してよい。境界ボックス内の画像は、抜き出され、トリミング境界ボックス(「チップ」とも呼ぶ)と呼ばれてメタデータに含められ、このメタデータは、関連する映像と共に、ネットワーク140上のワークステーション156などの他のデバイスでさらに処理されてよい。要するに、トリミング境界ボックス、またはチップは、検知した前景視覚オブジェクトが入っている映像の画像フレームを切り取った一部である。抜き出された画像は、トリミング境界ボックスであり、境界ボックス内にあるものより小さくても境界ボックス内のものより大きくてもどちらでもよい。抜き出される画像のサイズは、例えば検知されたオブジェクトの実際の境界に近いものであるべきだが、それを超えてはならない。境界ボックスは通常は矩形だが、オブジェクトの輪郭とほぼ同じである不規則な形状であってもよい。境界ボックスは、例えばヒトオブジェクトの境界(輪郭)にほぼ沿ったものでもよい
さらに別の実施形態では、抜き出した画像のサイズは、検知したオブジェクトの実際の境界よりも大きく、本明細書では、パディング済トリミング境界ボックスと称する(「パディング済チップ」とも呼ぶ)。パディング済トリミング境界ボックスは、例えば、検知した前景視覚オブジェクトに近い、またはこれと重なるオブジェクトの全体または一部を含むように、境界ボックスの2倍の領域であってよい。さらに明確にすると、パディング済トリミング境界ボックスは、境界ボックス内のオブジェクトの画像のトリミング境界ボックスよりも大きい画像を有する(本明細書ではパディングしていないトリミング境界ボックスと称する)。明確にすると、本明細書で用いるトリミング境界ボックスには、パディング済トリミング境界ボックスと、パディングしていないトリミング境界ボックスとがある。パディング済トリミング境界ボックスの画像サイズは、やや大きいもの(例えば10%大きい)からかなり大きいもの(例えば1000%大きい)までサイズが変化してよいことが理解されるであろう。
Further metadata may be generated for one or more detected foreground regions. The metadata may define the foreground visual object, or the position and reference coordinates of the object within the image frame. For example, position metadata may be further used to generate bounding boxes (eg, when encoding video or playing video) that outline the detected foreground visual objects. The image in the bounding box is extracted and included in the metadata called a cropped bounding box (also called a "chip"), which along with the relevant footage, such as workstation 156 on
本明細書の実施形態では、パディング済トリミング境界ボックスは、パディングしていないトリミング境界ボックスを拡大して余分な画素を含んでいるが元のパディングしていないトリミング境界ボックスの基準座標を依然として維持しているものとして記載されているが、この拡大または余分な画素は、垂直軸の代わりに水平軸でさらに追加されてよい。さらに、余分な画素の拡大は、オブジェクトに関する軸周りに対称であっても非対称であってもよい。パディングしていないトリミング境界ボックスのオブジェクトは、パディング済トリミング境界ボックスの中心にもパディングしていないトリミング境界ボックスの中心にもあってよいが、いくつかの実施形態ではこのようなオブジェクトが中心からずれていてよい。 In embodiments herein, the padded trimming border box expands the unpadded trimming border box to include extra pixels but still maintains the reference coordinates of the original unpadded trimming border box. Although described as being, this magnified or extra pixel may be further added on the horizontal axis instead of the vertical axis. In addition, the extra pixel enlargement may be symmetric or asymmetric about the axis with respect to the object. Objects in the unpadded trimming border box may be in the center of the padded trimming border box or in the center of the unpadded trimming border box, but in some embodiments such objects are off center. You may be.
いくつかの実施形態では、パディング済トリミング境界ボックスおよびパディングしていないトリミング境界ボックスを包含するトリミング境界ボックスは、映像の画像フレームから実際に抜き出した画像の代わりに、映像の画像フレームの基準座標であってよい。トリミング境界ボックスの画像は、その場合、必要なときに画像フレームから抜き出されてよい。カメラ108が見た画像、パディング済トリミング境界ボックス、およびパディング済トリミング境界ボックスから生じたトリミング境界ボックスの例は、映像解析モジュール224に送信され、映像解析モジュールは、例えばトリミング境界ボックスをサーバ上で処理してよい。
In some embodiments, the cropped border box, which includes a padded and unpadded cropped border box, is at the reference coordinates of the video image frame instead of the image actually extracted from the video image frame. It may be there. The image in the cropped border box may then be extracted from the image frame when needed. Examples of the image seen by the
検知した1つ以上の前景視覚オブジェクトの1つ1つを視覚により識別するために、画像フレームに視覚インジケータを追加してよい。視覚インジケータは、画像フレーム内にある1つ以上の前景視覚オブジェクトの1つ1つを取り囲む境界ボックスであってよい。 A visual indicator may be added to the image frame to visually identify each of the detected one or more foreground visual objects. The visual indicator may be a bounding box that surrounds each and every one or more foreground visual objects within the image frame.
いくつかの例示的な実施形態では、映像解析は、302で検知した前景視覚オブジェクト(またはオブジェクト)を分類することを304でさらに含んでいてよい。例えば、前景視覚オブジェクトを分類するためにパターン認識が行われてよい。前景視覚オブジェクトは、人物、車または動物などのクラスに分類されてよい。これに加えて、またはこの代わりに、視覚オブジェクトは、視覚オブジェクトの動きおよび動く方向などの行為によって分類されてよい。色、サイズ、向きなど、他の分類要素が決定されてもよい。さらに具体的な例では、視覚オブジェクトの分類は、顔検知に基づく人物識別およびナンバープレートなどの文字認識を含んでいてよい。視覚による分類は、共同所有の米国特許第8,934,709号に記載されているシステムおよび方法に従って実施されてよく、同文献を参照してその全容を本願に援用する。 In some exemplary embodiments, video analysis may further include classifying foreground visual objects (or objects) detected at 302 at 304. For example, pattern recognition may be performed to classify foreground visual objects. Foreground visual objects may be classified into classes such as people, cars or animals. In addition to or instead of this, visual objects may be classified by actions such as the movement and direction of movement of the visual object. Other classification factors such as color, size, orientation, etc. may be determined. In a more specific example, the classification of visual objects may include person identification based on face detection and character recognition such as license plates. Visual classification may be performed in accordance with the systems and methods described in co-owned US Pat. No. 8,934,709, which is hereby incorporated by reference in its entirety.
映像解析は、306で、イベントが起きたがどうか、およびそのイベントの種類を検知することをさらに含んでいてよい。イベントの検知は、1つ以上の前景視覚オブジェクトの分類を1つ以上の所定規則と比較することに基づいていてよい。イベントは、異常な検知またはビジネスインテリジェンスにあってよく、例えば映像のトリップワイヤが起動されたかどうか、1つの領域にいる人物の数、場面内のオブジェクトが「背後にある」かどうか、または場面内のオブジェクトが削除されたかどうかなどである。 Video analysis may further include detecting at 306 whether an event has occurred and the type of event. Event detection may be based on comparing the classification of one or more foreground visual objects with one or more predetermined rules. The event may be anomalous detection or business intelligence, for example whether the video tripwire was activated, the number of people in one area, whether the objects in the scene are "behind", or in the scene. Whether or not the object of is deleted.
306での映像解析の一例が、ヒトのみを検知する設定であってよく、それを検知すると、ヒトオブジェクトのトリミング境界ボックスを抜き出し、トリミング境界ボックスの1つ1つの基準座標と共にメタデータに含め、このメタデータは、関連する映像と共に、ネットワーク140上のワークステーション156などの他のデバイスでさらに処理されてよい310。
An example of video analysis in 306 may be a setting that detects only humans, and when it is detected, the trimming boundary box of the human object is extracted and included in the metadata together with the reference coordinates of each trimming boundary box. This metadata, along with the associated video, may be further processed by other devices such as workstation 156 on
次に図4を参照すると、図示されているのは、映像取り込みデバイス108(カメラ108)で取り込んだ映像の1つ以上の画像フレームにある関心オブジェクトの位置を特定するために外観照合を実施する方法400の例示的な実施形態の流れ図である。映像は、ある時間にわたってカメラ108によって取り込まれる。時間は、数時間、数日、または数ヶ月にわたることがあり、複数の映像ファイルまたはセグメントに及ぶことがある。本明細書で使用している「映像」の意味は、時間を示唆するものを含み、2つ以上のカメラがある場合にどのカメラ108かを識別する関連メタデータを含む映像ファイルおよび映像セグメントを包含している。映像の処理は、複数の段階に分けられ、関心のあるオブジェクト(または人物)を後で検索するための資源利用および索引付けを最適化するよう分散される。検索中にそのような関心のある人物が見つかった映像は、その場合、ユーザに見直されてよい。
Next, referring to FIG. 4, illustrated is performing appearance matching to locate an object of interest in one or more image frames of video captured by the video capture device 108 (camera 108). It is a flow chart of the exemplary embodiment of the
場面402の映像は、カメラ108に取り込まれる。場面402は、カメラ108の視野の中にある。映像は、カメラ108内の映像解析モジュール224によって処理されてトリミング境界ボックス404を含むメタデータを生成する。映像解析モジュール224は、オブジェクトの検知および分類を実施し、場面402内のオブジェクトを最もよく表現している映像から画像(トリミング境界ボックス)も生成する。この例では、人またはヒトとして分類されたオブジェクトの画像は、映像から抜き出され、さらに識別処理するためにトリミング境界ボックス404としてメタデータに含まれる。トリミング境界ボックス404を含むメタデータおよび映像は、ネットワーク140上でサーバ406に送られる。サーバ406は、ワークステーション156またはクライアントデバイス164であってよい。
The image of the
サーバ406には、トリミング境界ボックス108および生成された特徴ベクトル(または「シグネチャ」または「バイナリ表現」)410をさらに処理して408場面402内のオブジェクトを表現するための遙かに多くの資源がある。処理408は、例えば先行技術では特徴記述子として知られている。
コンピュータのビジョンでは、画像を撮って画像変換を介して特徴記述または特徴ベクトルを出力するアルゴリズムとしての特徴記述子が一般に知られている。特徴記述子は、情報すなわち画像を一連の数字に符号化して、特徴を互いに区別するために使用できる数字の「指紋」として機能する。この情報は、同じオブジェクト内の別の画像内で特徴を再度見つけられるように、画像変換を受けても不変であることが理想である。特徴記述子のアルゴリズムの例として、SIFT(Scale-invariant feature transform、スケール不変特徴変換)、HOG(histogram of oriented gradients、配向勾配のヒストグラム)、およびSURF(Speeded Up Robust Features、高速化ロバスト特徴)がある。 In computer vision, feature descriptors are generally known as algorithms that take an image and output a feature description or feature vector via image transformation. The feature descriptor acts as a "fingerprint" of numbers that can be used to encode information or images into a series of numbers to distinguish features from each other. Ideally, this information is invariant to image transformations so that features can be found again in another image within the same object. Examples of feature descriptor algorithms include SIFT (Scale-invariant feature transition), HOG (histogram of oriented gradients, histogram of orientation gradient), and SURF (Speeded Up Robust) Fast Robust Fe. be.
特徴ベクトルとは、コンピュータで処理できるオブジェクトの画像を表現する数値的特徴(数字)のn次元ベクトルである。1つのオブジェクトの1つの画像の特徴ベクトルを別の画像の特徴ベクトルと比較することによって、コンピュータで実行可能な処理で、その1つの画像と別の画像とが同じオブジェクトの画像であるかどうかを判断し得る。画像シグネチャ(または特徴ベクトル、または埋め込み、または表現など)は、(例えば畳み込みの)ニューラルネットワークで計算された多次元ベクトルである。 The feature vector is an n-dimensional vector of numerical features (numbers) that represent an image of an object that can be processed by a computer. By comparing the feature vector of one image of one object with the feature vector of another image, a computer-executable process can determine if that one image and another image are images of the same object. I can judge. An image signature (or feature vector, or embedding, or representation, etc.) is a multidimensional vector calculated by a neural network (eg, a convolution).
カメラ108によって取り込まれた2つの画像の2つの特徴ベクトルの間のユークリッド距離を計算することによって、コンピュータで実行可能な処理が、2つの画像がどれだけ類似している可能性があるかを示す類似度スコアを決定できる。ニューラルネットワークは、ニューラルネットワークが画像用に算出する特徴ベクトルが、類似画像に対しては近く(ユークリッド距離が短い)、非類似画像に対しては遠く(ユークリッド距離が長い)なるように訓練される。関連画像を引き出すために、クエリ画像の特徴ベクトルは、データベース414内の画像の特徴ベクトルと比較される。検索結果は、クエリ画像までのその距離(0から1の間の値)の昇順で示されてよい。類似度スコアは、例えば0から1の間の値から変換されたパーセンテージであってよい。
By calculating the Euclidean distance between the two feature vectors of the two images captured by the
この例示的な実施形態では、処理408は、学習機械を用いてトリミング境界ボックス404を処理し、映像に取り込まれたオブジェクトの画像の特徴ベクトルまたはシグネチャを生成する。学習機械は、例えばグラフィックスプロセッシングユニット(GPU)上で動作する畳み込みニューラルネットワーク(CNN)などのニューラルネットワークである。CNNは、類似画像と非類似画像との対が無数に入っている訓練データセットを用いて訓練されてよい。CNNは、例えば、ニューラルネットワークを訓練するために対照的な損失関数を用いて訓練されたシャムネットワークのアーキテクチャである。シャムネットワークの一例が、Bromley,Jane,et al.「Signature verification using a 「Siamese」 time delay neural network」、International Journal of Pattern Recognition and Artificial Intelligence 7.04(1993):669-688に記載されており、この内容を参照してその全容を本願に援用する。
In this exemplary embodiment, processing 408 uses a learning machine to process the trimming
処理408は、訓練モデルを、外観検索システムが使用される前にすべての訓練が行われるバッチ学習として知られているものを活用する。訓練モデルは、この実施形態では、1つの可能なパラメータ群を含む畳み込みニューラルネットワーク学習モデルである。所与の学習モデルに対して可能なパラメータ群は無限にある。目的関数(AKA損失関数)を最小にするパラメータ群を見つけるために最適化法(確率的勾配降下法など)、および数の勾配計算法(バックプロパゲーションなど)を用いてよい。対照的な損失関数は目的関数として使用される。この関数は、現在の訓練モデルの精度が低い場合に高い値を取り(類似の対に長い距離を割り当て、または非類似の対に短い距離を割り当てる)、現在の訓練済みモデルの精度が高い場合に低い値を取る(類似の対に短い距離を割り当て、非類似の対に長い距離を割り当てる)ように定義される。訓練処理は、このように最小の問題に軽減される。精度が最も高いモデルを見つける処理は訓練処理であり、パラメータ群を含む仕上がりモデルは訓練済みモデルであり、パラメータ群は、外観検索システムに展開されたあとは変更されない。
処理部408に対する代替の実施形態は、オンライン機械学習アルゴリズムとして知られているものを用いて学習機械を活用することである。学習機械は、処理部408で最初のパラメータ群を用いて活用されるが、外観検索システムは、何らかの真実の源(例えば、関心オブジェクトの画像を選択した際のユーザフィードバック)に基づいてモデルのパラメータを更新し続ける。このような学習機械は、他の種類のニューラルネットワークも畳み込みニューラルネットワークも含んでいてよい。
An alternative embodiment for the
ヒトオブジェクトのトリミング境界ボックス404は、処理部408によって処理されて特徴ベクトル410を生成する。特徴ベクトル410は、索引付けされ412、映像と共にデータベース414に記憶される。特徴ベクトル410は、ヒトオブジェクトのトリミング境界ボックス404が映像内のどこに位置し得るかについての基準座標にも関連付けられる。データベース414の記憶は、タイムスタンプおよびカメラの識別情報のほか、トリミング境界ボックス404の特徴ベクトル410と、トリミング境界ボックス404が映像内のどこに位置し得るかについての基準座標とを含む関連メタデータも一緒に映像を記憶することを含む。
The trimming
映像内の特定の人物の位置を特定するため、関心人物の特徴ベクトルが生成される。関心人物の特徴ベクトルに類似特徴ベクトル416がデータベース414から抜き出される。抜き出された特徴ベクトル416は、閾値の類似度スコアと比較され418、その閾値を超えているものは、ユーザに提示するためにクライアント420に提供される。クライアント420は、抜き出された特徴ベクトル416に関連する映像をユーザが見られるように映像再生モジュール264も有する。
A feature vector of the person of interest is generated to locate a particular person in the video. A
さらに詳細には、訓練済みモデルは、計算された特徴ベクトルと比較するために使用される所定の距離関数を用いて訓練されている。訓練済みモデルが外観検索システムで活用されるときは同じ距離関数を使用する。距離関数は、特徴ベクトルが単位ノルムを有するように正規化されている特徴ベクトルどうしの間のユークリッド距離であるため、特徴ベクトルはすべて単位ノルムの超球上にある。データベースにある検知されたオブジェクトの特徴ベクトルを計算して記憶した後、正確な最近傍検索を用いて類似オブジェクトの検索が行われ、照会された特徴ベクトル(関心オブジェクトの特徴ベクトル)から対象となる時間フレームにある他の全ベクトルまでの距離を徹底的に評価する。検索結果は、照会された特徴ベクトルまでの距離の降順でランク付けされて返される。 More specifically, the trained model is trained using a predetermined distance function used to compare with the calculated feature vector. Use the same distance function when the trained model is utilized in a visual search system. Since the distance function is the Euclidean distance between feature vectors whose feature vectors are normalized to have a unit norm, all feature vectors are on the hypersphere of the unit norm. After calculating and storing the feature vector of the detected object in the database, a search for similar objects is performed using the accurate nearest neighbor search, and the queryed feature vector (feature vector of the object of interest) is used as the target. Thoroughly evaluate the distance to all other vectors in the time frame. The search results are ranked and returned in descending order of distance to the queried feature vector.
別の実施形態では、近似最近傍検索を使用してよい。近似最近傍検索は、最近傍検索「そのもの」に似ているが、すべての結果を見ずに最も類似性が高い結果を引き出す。こちらの方が速いが、誤検知を招くおそれがある。近似最近傍の一例では、特徴ベクトルのハッシングの索引付けを用いることがある。検索時間フレームが長いときなど、特徴ベクトルの数が多い場合に近似最近傍検索の方が速いことがある。 In another embodiment, the approximate nearest neighbor search may be used. Approximate Nearest Neighbor Search is similar to Nearest Neighbor Search "itself", but derives the most similar results without looking at all the results. This is faster, but it may lead to false positives. In one example of the approximate nearest neighbor, hashing indexing of feature vectors may be used. Approximate nearest neighbor search may be faster when the number of feature vectors is large, such as when the search time frame is long.
さらに正確に言うと、「関心オブジェクト」は「関心人物」を包含し、「関心人物」は「関心オブジェクト」を包含することが理解されるであろう。
次に図5を参照すると、図示されているのは、図4の例示的な実施形態の流れ図であり、クライアント420で外観照合を実施して関心オブジェクトの録画映像の場所を特定する外観検索500の詳細を示している。関心オブジェクトに対する外観検索を開始するには、類似の特徴ベクトルに対してデータベース414を検索するために関心オブジェクトの特徴ベクトルが必要である。外観検索500には、外観検索を開始する2つの例示的な方法が示されている。
More precisely, it will be understood that "interested object" includes "interested person" and "interested person" includes "interested object".
Next, referring to FIG. 5, what is illustrated is a flow chart of the exemplary embodiment of FIG. 4, an
外観検索500を開始する第1の方法では、関心オブジェクトの画像をクライアント420で受信し502、クライアントではそれを処理部408に送信して関心オブジェクトの特徴ベクトルを生成する504。第2の方法では、ユーザは、関心オブジェクトの画像に対するデータベース414を検索し514、データベース414に記憶するために映像が処理されていたときに事前に生成されていた関心オブジェクトの特徴ベクトルを引き出す516。
In the first method of starting the
次に、第1の方法または第2の方法のいずれかから、関心オブジェクトの特徴ベクトルと比較して、閾値を超えていて例えば70%となることがある類似度スコアを有する候補特徴ベクトルに対してデータベース414の検索506を行う。候補特徴ベクトルの画像を受信し508、その後クライアント420でユーザに提示して、関心オブジェクトのものであるか、関心オブジェクトのものである可能性がある候補特徴ベクトルの画像を選択する510。クライアント420は、リスト内の選択された画像を追跡する。ユーザが選択した画像を含むリストは、関心オブジェクトのものである。任意選択として、ユーザは選択510のところで、ユーザがリストから選択して後に不適当と思われた画像を削除してもよい。
Next, from either the first method or the second method, for a candidate feature vector having a similarity score that exceeds the threshold and may be, for example, 70%, as compared to the feature vector of the object of interest. The
関心オブジェクトの新たな1つの画像(または複数の画像)を選択510で選択するたびに、新たな画像の特徴ベクトルがデータベース414で検索され506、関心オブジェクトの新たな候補画像がクライアント420でユーザに提示されて、関心オブジェクトのものであるか、関心オブジェクトのものである可能性がある新たな画像を再度選択する510。この外観検索の検索ループ500は、関心オブジェクトの十分な画像を特定したとユーザが判断して検索512を終了するまで続いてよい。次にユーザは、例えば、リストにある画像に関連する映像を見るかダウンロードしてよい。
Each time the
次に図6を参照すると、図示されているのは、図4の例示的な実施形態の流れ図であり、クライアント420で外観照合を実施して選択した時間の前または後のいずれかで関心オブジェクトの録画映像の場所を特定する時間指定外観検索600の詳細を示している。この種の検索は、例えば、現時刻に近い画像を特定することによって紛失した鞄の場所を突き止め、時間を遡って追跡して誰が鞄を置き忘れた可能性があるかを突き止めるのに有用である。
Next, with reference to FIG. 6, illustrated is a flow chart of the exemplary embodiment of FIG. 4, where the object of interest is either before or after a time selected by performing an appearance match on the
関心オブジェクトの外観検索を開始するには、類似の特徴ベクトルに対してデータベース414を検索するために関心オブジェクトの特徴ベクトルが必要である。時間指定外観検索600には、外観検索500のように、時間指定外観検索を開始する2つの例示的な方法が示されている。外観検索600を開始する第1の方法では、関心オブジェクトの画像をクライアント420で受信し602、クライアントではそれを処理部408に送信して関心オブジェクトの特徴ベクトルを生成する604。第2の方法では、ユーザは、関心オブジェクトの画像に対するデータベース414を検索し614、データベース414に記憶する前に映像が処理されたときに事前に生成されていた関心オブジェクトの特徴ベクトルを引き出す616。
To initiate an appearance search for an object of interest, the feature vector of the object of interest is needed to search the
第1の方法または第2の方法のいずれかから、時間指定外観検索600は、時間を前向きまたは後ろ向きのいずれかで検索するよう設定される618。第1の方法では、ユーザが手動で検索時間を設定してよい。第2の方法では、検索開始時刻は、画像がカメラ108によって取り込まれた時刻に設定される。この例では、時間指定外観検索600は、例えば現時刻により近いところで迷子を突き止めるために時間を前向きに検索するよう設定される。別の例では、時間指定外観検索600は、ユーザが例えば誰が鞄(関心オブジェクト)を置き忘れたかを明らかにしたいと思った場合に時間を後ろ向きに検索するよう設定されてよい。
From either the first method or the second method, the timed
次に、関心オブジェクトの特徴ベクトルと比較して、閾値を超えていて例えば80%となることがある類似度スコアを有する候補特徴ベクトルに対して、検索時刻から時間を前向きにデータベース414の検索606を行う。候補特徴ベクトルの画像を受信し608、その後クライアント420でユーザに提示して、関心オブジェクトのものであるか、関心オブジェクトのものである可能性がある候補特徴ベクトルの画像から1つの画像を選択する610。クライアント420は、リスト内の選択された画像を追跡する。リストは、ユーザが選択した画像を関心オブジェクトのものとして含む。任意選択として、ユーザは選択610のところで、ユーザがリストから選択して後に不適当と思われた画像を削除してもよい。
Next, for a candidate feature vector having a similarity score that exceeds the threshold and may be, for example, 80%, compared to the feature vector of the object of interest,
関心オブジェクトの新たな画像を選択610で選択するたびに、新たな画像の特徴ベクトルが検索時刻から時間を前向きにデータベース414で検索される606。検索時刻は、新たな画像がカメラ108によって取り込まれた時刻である。関心オブジェクトの新たな候補画像は、クライアント420でユーザに提示されて、関心オブジェクトのものであるか、関心オブジェクトのものである可能性がある別の新たな画像を再度選択する610。この時間指定外観検索の検索ループ600は、関心オブジェクトの十分な画像を特定したとユーザが判断して検索612を終了するまで続いてよい。次にユーザは、例えば、リストにある画像に関連する映像を見るかダウンロードしてよい。この例は時間を前向きに検査するものだが、時間を後ろ向きに検索するのは、データベース414の検索が検索時刻から遡る的中事項、または検索時刻よりも前に起きた的中事項を対象に選別されるという点を除いては結果的にほぼ同じである。
Each time a new image of interest object is selected in the
次に図7を参照すると、図示されているのは、カメラ108によってサーバ406に送信されたときのトリミング境界ボックス404を含むオブジェクトプロファイル702のメタデータの一例と、画像706(トリミング境界ボックス404)に代わって、データベース414に記憶するためにトリミング境界ボックス404の特徴ベクトル708を含むオブジェクトプロファイル704の一例とのブロック図である。画像706のファイルサイズは特徴ベクトル708のファイルサイズよりも大きいため、画像706の代わりに特徴ベクトル708を含むオブジェクトプロファイル704を記憶することによって記憶スペースをいくらか節約できる。その結果、データ記憶領域を大幅に節約できる。なぜならトリミング境界ボックスはかなり大きく多数であることが多いからである。
Next, referring to FIG. 7, what is illustrated is an example of the metadata of the object profile 702 including the trimming
オブジェクトプロファイル702およびオブジェクトプロファイル704のデータ710は、例えば、タイムスタンプ、フレーム番号、場面の幅および高さを基準とする画素単位の解像度、画素単位での幅および高さを基準とするこのフレームのセグメンテーションマスク、ならびにバイト単位の行幅を基準とするストライド、分類(人物、車両、その他)、分類のパーセント単位の信頼度、正規化したセンサ座標での幅および高さを基準とするボックス(縁取ったオブジェクトを囲んでいる境界ボックス)、画素単位での画像の幅および高さと画像のストライド(バイト単位の行幅)、画像のセグメンテーションマスク、向き、ならびに画像ボックスのxy座標などの内容を含む。特徴ベクトル708は、例えば48次元、すなわち48の浮動小数点数の画像706のバイナリ表現(0と1で構成されている場面でのバイナリ)である。次元数は、特徴ベクトルを生成するのに使用される学習機械に応じてこれよりも大きくても小さくてもよい。次元が高いほど一般には精度が高いが、必要とされる計算資源も極めて高くなることがある。
The data 710 of the object profile 702 and the object profile 704 are, for example, a time stamp, a frame number, a pixel-by-pixel resolution relative to the width and height of the scene, and a pixel-by-pixel width and height of this frame. Segmentation masks, as well as stride based on line width in bytes, classification (person, vehicle, etc.), confidence in percent of the classification, box based on width and height in normalized sensor coordinates (edges) Includes content such as the border box surrounding the captured object), the width and height of the image in pixels and the stride of the image (row width in bytes), the segmentation mask of the image, the orientation, and the xy coordinates of the image box. .. The
トリミング境界ボックス404または画像706は、基準座標を用いて録画映像から再度抜き出せるため、トリミング境界ボックス404を映像に追加して保存する必要はない。基準座標は、例えば、タイムスタンプ、フレーム番号、およびボックスを含んでいてよい。例として、基準座標は、単に関連する映像ファイルを含むタイムスタンプであり、タイムスタンプが元の画像フレームに遡るのに十分な精度を有している場合と、タイムスタンプが元の画像フレームに遡るのに十分な精度を有していない場合とでは、元の画像フレームに近い画像フレームで十分よいことがある。なぜなら映像内で時間的に近い画像フレームは一般によく似ているからである。
Since the trimming
この例示的な実施形態では、特徴ベクトルを画像に代えたオブジェクトプロファイル704を有するが、他の実施形態では従来の方法を用いて圧縮した画像を有していてよい。
次に図8を参照すると、図示されているのは、図4の例示的な実施形態の場面402およびトリミング境界ボックス404である。場面402には、検知された3人が示されている。彼らの画像802、806、808は、カメラ108で抜き出され、トリミング境界ボックス404としてサーバ406に送信される。画像802、806、808は、ある時間にわたって映像にある3人の代表画像である。映像内の3人は動いていて、それに伴い取り込まれた彼らの画像は、ある一定時間にわたって違ったものになる。画像を管理可能な数になるよう選別するため、代表的な1つの画像(または複数の画像)をトリミング境界ボックス404として選択してさらに処理する。
This exemplary embodiment has an object profile 704 in which the feature vector is replaced with an image, while other embodiments may have an image compressed using conventional methods.
Next, with reference to FIG. 8, what is illustrated is the
次に図9を参照すると、図示されているのは、1つの例示的な実施形態による映像解析モジュール224の動作サブモジュール一式のブロック図である。映像解析モジュール224は、様々なタスクを実行するいくつかのモジュールを含む。例えば、映像解析モジュール224は、映像取り込みデバイス108の視野に現れているオブジェクトを検知するオブジェクト検知モジュール904を含む。オブジェクト検知モジュール904は、例えば動き検知およびブロブ検知など、任意の公知のオブジェクト検知方法を用いてよい。オブジェクト検知モジュール904は、「Methods and Systems for Detecting Objects of Interest in Spatio-Temporal Signals」と題する米国特許第7,627,171号に記載のシステムを含んで同文献に記載の検知方法を用いてよく、同文献の全容を参照して本願に援用する。
Next, referring to FIG. 9, what is illustrated is a block diagram of a set of operational submodules of the
映像解析モジュール224は、オブジェクト検知モジュール904に接続または連結しているオブジェクト追跡モジュール908も含む。オブジェクト追跡モジュール908は、オブジェクト検知モジュール908によって検知されたオブジェクトのインスタンスを時間に関連づけるよう動作する。オブジェクト追跡モジュール908は、「Object Matching for Tracking,Indexing,and Search」と題する米国特許第8,224,029号に記載のシステムを含んで同文献に記載の検知方法を用いてよく、同文献の全容を参照して本願に援用する。オブジェクト追跡モジュール908は、同モジュールが追跡する視覚オブジェクトに対応するメタデータを生成する。メタデータは、オブジェクトの外観またはその他の特徴を表現する視覚オブジェクトのシグネチャに対応していてよい。メタデータは、処理するためにサーバ406に伝送される。
The
映像解析モジュール224は、オブジェクト検知モジュール904で検知したオブジェクトを分類してオブジェクト追跡モジュール908に接続するオブジェクト分類モジュール916も含む。オブジェクト分類モジュール916は、瞬間的オブジェクト分類モジュール918および一時的オブジェクト分類モジュール912を内部に含んでいてよい。瞬間的オブジェクト分類モジュール918は、オブジェクトの単一のインスタンスに基づいて視覚オブジェクトの種類(例えば、ヒト、車両、または動物など)を判定する。瞬間的オブジェクト分類モジュール916への入力は、画像フレーム全体ではなく視覚関心オブジェクトが位置している画像の下位領域(例えば境界ボックス内)であることが好ましい。画像フレームの下位領域を分類モジュール916に入力する利点は、分類のために場面全体を解析する必要がないために必要な処理力が少ないことである。映像解析モジュール224は、例えばヒト以外のあらゆるオブジェクトの種類を選別してさらに処理してよい。
The
一時的オブジェクト分類モジュール912は、オブジェクトのクラス(例えば、ヒト、車両、または動物など)情報をある一定時間にわたって維持してもよい。一時的オブジェクト分類モジュール912は、瞬間的オブジェクト分類モジュール918から提供されたオブジェクトの瞬間的なクラス情報を、オブジェクトが存在している間のある一定時間にわたって平均する。換言すると、一時的オブジェクト分類モジュール912は、複数のフレームにあるオブジェクトの外観に基づいてオブジェクトの種類を判定する。例えば、ある人の歩き方の足取りを分析すると、人を分類するのに有用となり得るし、あるいは人の足を分析するとサイクリストを分類するのに有用となり得る。一時的オブジェクト分類モジュール912は、オブジェクトの軌跡に関する情報(例えば、軌跡が滑らかであるか無秩序であるか、またはオブジェクトが動いているか止まっているかなど)と、複数のフレームにわたって平均された瞬間的オブジェクト分類モジュール918によって行われた分類の信頼情報とを組み合わせてよい。例えば、オブジェクト分類モジュール916によって判定される分類信頼値は、オブジェクトの軌跡の滑らかさに基づいて調整されてよい。一時的オブジェクト分類モジュール912は、視覚オブジェクトが瞬間的オブジェクト分類モジュール918によって十分な回数分類されて所定数の統計が収集されるまで、オブジェクトを未知のクラスに割り当ててよい。オブジェクトを分類する際、一時的オブジェクト分類モジュール912は、オブジェクトがどのくらいの時間にわたって視野にあったかも計算に入れてよい。一時的オブジェクト分類モジュール912は、前述した情報に基づいてオブジェクトのクラスに関して最終決定を下してよい。一時的オブジェクト分類モジュール912は、オブジェクトのクラスを変更するためにヒステリシス手法を用いてもよい。さらに詳細には、オブジェクトの分類を未知のクラスから確定したクラスに移すために閾値を設定してよく、その閾値は、逆に移す(例えば、ヒトから未知にするなど)ための閾値よりも大きくてよい。オブジェクト分類モジュール916は、オブジェクトのクラスに関するメタデータを生成してよく、メタデータは、データベース414に記憶されてよい。一時的オブジェクト分類モジュール912は、瞬間的オブジェクト分類モジュール918によって行われた分類を集約してよい。
The temporary
代替構成では、オブジェクト分類モジュール916は、オブジェクト分類がオブジェクト追跡よりも前に起こるようにオブジェクト検知モジュール904の後かつオブジェクト追跡モジュール908の前に配置される。別の代替構成では、オブジェクト検知モジュール、追跡モジュール、一時的分類モジュール、および分類モジュール904、908、912、および916は、前述したように相関している。さらに他の代替実施形態では、映像解析モジュール224は、(先行技術で公知の)顔認識を用いてヒトの画像にある顔を検知し、それに応じた信頼度を提供してよい。このような実施形態の外観検索システムは、図8に示したようにヒト全体の代わりに顔の画像の特徴ベクトルまたはトリミング境界ボックスを使用することを含んでいてよい。このような顔の特徴ベクトルは、単独で使用してもよいし、オブジェクト全体の特徴ベクトルと合わせて使用してもよい。さらに、オブジェクトの一部の特徴ベクトルも同じように、単独で使用してもよいし、オブジェクト全体の特徴ベクトルと合わせて使用してもよい。例えば、オブジェクトの一部とは、ヒトの耳の画像であってよい。個体を識別する耳の認識は、先行技術で公知である。
In the alternative configuration, the
映像の各画像フレームでは、映像解析モジュール224は、オブジェクトを検知し、各オブジェクトの画像を抜き出す。これらの画像から選択された画像を、オブジェクトの最終物と称する。オブジェクトの最終物は、場面にオブジェクトが存在している間に1つ1つのオブジェクトの視覚的外観が最良である表現を選択するよう意図されたものである。最終物を使用してシグネチャ/特徴ベクトルを抜き出し、このシグネチャ/特徴ベクトルをさらに使用して他の最終物を照会し、外観検索を設定する際に最も近い一致を引き出すことができる。
In each image frame of the image, the
オブジェクトの最終物は、オブジェクトの存在期間の1つ1つのフレームで生成できることが理想である。これが行われた場合、映像の1秒間でさえ多くの画像フレームがあるため、外観検索を実際に実用するには計算要件が高すぎることがある。以下は、計算要件を軽減するために、ある一定時間にわたってオブジェクトを表現するオブジェクトの可能な最終物を選別する、またはオブジェクトの可能性のある画像から一画像を選択する一例である。 Ideally, the final object can be generated in each frame of the object's lifetime. If this is done, the computational requirements may be too high for the appearance search to be practical, as there are many image frames even for a second of video. The following is an example of selecting possible final objects of an object that represent an object over a period of time, or selecting an image from possible images of the object, in order to reduce computational requirements.
オブジェクト(ヒト)が場面402に入ってくると、オブジェクト検知モジュール904によってオブジェクトとして検知される。次にオブジェクト分類モジュール916は、そのオブジェクトがヒトであるとする信頼度を有するオブジェクトをヒトまたは人物として分類する。オブジェクトは、カメラ108に取り込まれた映像の1つ1つの画像フレームを通して、オブジェクト追跡モジュール908によって場面402内を追跡される。オブジェクトは、追跡されるときの追跡番号によって識別されてもよい。
When an object (human) enters the
各画像フレームでは、オブジェクトを囲んでいる境界ボックス内にあるオブジェクトの画像が画像フレームから抜き出され、画像はトリミング境界ボックスである。オブジェクト分類モジュール916は、例えば、各画像フレームに対してオブジェクトがヒトであるとする信頼度を提供する。さらに他の例示的な実施形態として、オブジェクト分類モジュール916が、オブジェクトが(例えば)ヒトであるとする分類に比較的低い信頼度を提供した場合、パディング済トリミング境界ボックスが抜き出され、それによってより計算力の強いオブジェクト検知および分類モジュール(例えば処理408)がサーバで、特徴ベクトルが生成される前に、オブジェクトのパディング済トリミング境界ボックスを解像する。より計算力の強いオブジェクト検知および分類モジュールは、重なっているか密に隣接している別のオブジェクトからオブジェクトを解像または抜き出す別のニューラルネットワークであってよい。特徴ベクトルが生成される前に、トリミング境界ボックスまたはパディング済トリミング境界ボックスのどれをさらに処理して境界ボックス内にある他のオブジェクトなどの問題を解決すべきかを示すために、比較的低い信頼度(例えば50%)を使用してもよい。映像解析モジュール224は、ある特定数のトリミング境界ボックスのリストを維持し、例えばオブジェクトとしての信頼度が最も高い上位10個のトリミング境界ボックスを場面402内で追跡する。オブジェクト追跡モジュール908がオブジェクトの追跡し損なったとき、またはオブジェクトが場面から出たとき、トリミング境界ボックス404は、前景画素(またはオブジェクト画素)が最多数であるオブジェクトを示す10個のトリミング境界ボックスのリストから選択される。トリミング境界ボックス404は、メタデータと一緒にサーバ406に送信されてさらに処理される。トリミング境界ボックス404は、この追跡期間にわたるオブジェクトの画像を表現する。信頼度は、オブジェクトが影にまたがっているときなど、オブジェクトが良好な画像ではない可能性があるトリミング境界ボックスを棄却するのに使用される。その代わりに、上位10個のトリミング境界ボックスのリストから2つ以上のトリミング境界ボックスを選び抜いてサーバ406に送信してもよい。例えば、最も高い信頼度を基準に選択した別のトリミング境界ボックスも送信してよい。
In each image frame, the image of the object in the bounding box surrounding the object is extracted from the image frame and the image is a cropped bounding box. The
上位10個のトリミング境界ボックスのリストは、1つの実施形態である。その代わりに、このリストは、さらに他の例として、5個のみのトリミング境界ボックスまたは20個のトリミング境界ボックスとすることもできる。さらに、トリミング境界ボックスのリストからのトリミング境界ボックス404としてトリミング境界ボックスを選択することは、追跡し損なった跡だけではなく定期的に行われてよい。あるいは、リストからのトリミング境界ボックスの選択は、最大数のオブジェクト画素に基づく代わりに最も高い信頼度に基づくものであってよい。あるいは、映像解析モジュール224は、サーバ406(ワークステーション156)、処理機器148、クライアントデバイス164、またはカメラの外部にある他のデバイスに配置されてよい。
The list of top 10 trimming boundary boxes is one embodiment. Alternatively, the list could be, as yet another example, only 5 trimming border boxes or 20 trimming border boxes. In addition, selecting a trimming boundary box as the trimming
上記のトリミング境界ボックスの選択基準は、オブジェクトの存在期間を単一のトリミング境界ボックスで表現するという問題に対して可能性のある解決策である。以下は別の選択基準である。 The above trimming boundary box selection criteria is a possible solution to the problem of representing an object's lifetime in a single trimming boundary box. The following are different selection criteria.
代わりに、オブジェクト分類モジュール916の高さ推定アルゴリズムによって提供された情報を用いて、n個のトリミング境界ボックスのうち上位10個の選別を実施できる。高さ推定モジュールは、ある一定時間にわたって観察された頭部(上部)と足部(下部)に基づいてホモロジーマトリクスを作成する。ホモロジーを学習する期間を本明細書では学習段階と称する。得られたホモロジーは、特定の場所に現れている実際のオブジェクトの高さを推定するためにさらに使用され、その場所で観察されたオブジェクトの高さと比較される。学習が完了すると、高さ推定モジュールによって提供された情報を用いて、トリミング境界ボックスの高さをトリミング境界ボックスが取り込まれた場所で予想されるオブジェクトの高さと比較することによって、上位n個のリストにあるトリミング境界ボックスを選別することができる。この選別方法は、オブジェクト分類モジュール916によって報告された高い信頼性で偽陽性となる可能性があるトリミング境界ボックスの棄却基準となることが意図されている。次にその結果選別されたトリミング境界ボックスは、オブジェクトによって取り込まれた前景画素数によってさらにランク付けできる。この多段階の選別基準により、オブジェクトの最終物が高い分類信頼性を有するだけでなく、その場所で予想されたオブジェクトの寸法にも準拠し、さらにはオブジェクト検知モジュール904によって報告された通りの良好な数の前景画素も有することを実現する。多段階の選別基準から得られたトリミング境界ボックスは、単独で適用した前述のいずれの基準から得たトリミング境界ボックスと比較しても、オブジェクトの外観はフレーム内での存在期間にわたってよりよく見える可能性がある。本明細書では機械学習モジュールは、先行技術で公知の機械学習アルゴリズムを含む。
Alternatively, the information provided by the height estimation algorithm of the
次に図10Aを参照すると、図示されているのは、別の例示的な実施形態による図4の処理408のブロック図である。オブジェクトの画像(パディング済トリミング境界ボックスを含むトリミング境界ボックス)404は、処理部408に受信され、そこで第1のニューラルネットワーク1010によって処理されてトリミング境界ボックス404内のオブジェクトを検知し、分類し、輪郭を描く。第1のニューラルネットワーク1010および第2のニューラルネットワーク1030は、例えば、畳み込みニューラルネットワークである。第1のニューラルネットワーク1010は、例えば、クリップ404の所与のトリミング境界ボックスに対して(分類された通りの)0人、1人、2人またはそれ以上のヒトを検知する。0であれば、ヒトオブジェクトは検知されず、最初の分類(カメラ108で)は誤りだったということであり、その所与のトリミング境界ボックスに対しては特徴ベクトル410を生成すべきではないということである(終了1020)。ヒトオブジェクトが1つ検知された場合、その所与のトリミング境界ボックスをさらに処理する必要がある。所与のトリミング境界ボックスがパディング済トリミング境界ボックスである場合、その所与のトリミング境界ボックスのオブジェクトの画像は、任意選択で、他のパディングしていないトリミング境界ボックスと同じように、オブジェクトの境界ボックス内に収まるようにサイズを縮小される。所与のトリミング境界ボックスで2つ以上(2+)のヒトオブジェクトが検知された場合、この実施形態では、画像フレーム内の「オブジェクト」の中心の座標に最も近い(または中心に最も近い)オブジェクトの画像は、トリミング境界ボックス404内の所与のトリミング境界ボックスに取って代わる新たなトリミング境界ボックスの画像フレームから抜き出されて、さらに処理される。
Next, referring to FIG. 10A, illustrated is a block diagram of
第1のニューラルネットワーク1010は、オブジェクトの輪郭を描いた画像(トリミング境界ボックス)1040を出力して第2のニューラルネットワーク1030で処理し、特徴ベクトル410を生成してトリミング境界ボックス404と関連付ける。第1のニューラルネットワーク1010の一例が、先行技術で公知の単一のシングルショットマルチボックス検知器(SSD)である。
The first
次に図10Bを参照すると、図示されているのは、さらに他の例示的な実施形態による図4の処理部408のブロック図である。オブジェクトの画像(パディング済トリミング境界ボックスを含むトリミング境界ボックス)404は、処理部408に受信され、比較器1050がトリミング境界ボックス404に関連する信頼度を判定する。カメラ108からのトリミング境界ボックス404は、カメラ108の映像解析モジュールによって判定された通りの関連するメタデータ(信頼度など)を有する。
Next, referring to FIG. 10B, what is illustrated is a block diagram of the
所与のトリミング境界ボックスの信頼度が比較的低い場合(例えば50%未満)、その所与のトリミング境界ボックスは、第1のニューラルネットワーク1010で始まり特徴ベクトル410で終わる図10Aの実施形態に従って処理される。所与のトリミング境界ボックスの信頼度が比較的高い(例えば50%以上)、所与のトリミング境界ボックスは、第2のニューラルネットワーク1030によって直接処理され、第1のニューラルネットワーク1010を通らずに特徴ベクトル410を生成する。
If a given trimming boundary box is relatively unreliable (eg, less than 50%), the given trimming boundary box is processed according to the embodiment of FIG. 10A starting with the first
カメラ108でパディング済トリミング境界ボックスを抜き出すことを説明している実施形態は、オブジェクトの全画像をパディング済トリミング境界ボックスとして抜き出すことを含むが、他の実施形態では、分類された関連オブジェクトに対する信頼度が比較的低い場合にはパディング済トリミング境界ボックスのみを抜き出す。第1のニューラルネットワーク1010は、精度を上げるためにパディング済トリミング境界ボックスとパディングしていないトリミング境界ボックスの両方を処理してよく、いくつかの実施形態では、計算資源が利用可能な場合は第1のニューラルネットワークにすべてのトリミング境界ボックスを処理させてよいことに注意されたい。第1のニューラルネットワーク1010は、すべてのパディング済トリミング境界ボックスを処理してよいが、信頼度が低いパディングしていないトリミング境界ボックスの一部のみを処理してもよい。比較器1050によって設定された閾値信頼度は、カメラ108でパディング済トリミング境界ボックスを抜き出すよう設定された閾値信頼度よりも低くてよい。いくつかの実施形態では、パディング済トリミング境界ボックスのいくつかは、特に計算資源がサーバ406の他の機能と結びついている場合は、第1のニューラルネットワーク1010による処理を飛ばして直接第2のニューラルネットワーク1030に行ってもよい。そのため、第1のニューラルネットワークによって処理されるトリミング境界ボックス処理の数は、サーバ406で利用可能な計算資源の量に応じて設定されてよい。
An embodiment illustrating extracting a padded cropped boundary box with a
次に図11を参照すると、図示されているのは、別の例示的な実施形態による図11Aおよび図11Bの処理部408流れ図である。所与のトリミング境界ボックス1110(パディングしていないものでもパディング済みのものでもよい)にヒトオブジェクトが3つある場合、第1のニューラルネットワーク1010は、3つのヒトオブジェクトの1つ1つを検知し、3つのヒトオブジェクトの1つ1つの画像の輪郭を描いてトリミング境界ボックス1120、1130、1140にする。次に第2のニューラルネットワーク1030によってトリミング境界ボックス1120、1130、1140の特徴ベクトルを生成する。トリミング境界ボックス1120、1130、1140はその関連する特徴ベクトルと共に、索引412およびデータベース414内のトリミング境界ボックス404の所与のトリミング境界ボックス1110を置き換える。画像に複数のオブジェクトが入っている代替実施形態では、最大に重なっているオブジェクトのみが維持され(トリミング境界ボックス1130)、他のトリミング境界ボックスは破棄される。
Next, referring to FIG. 11, what is illustrated is a flow chart of the
そのため、一実施形態では、オブジェクト検知を次の2段階で実施する。(1)カメラ108は、精度は低いが電力効率のよいオブジェクト検知を実施し、パディング済オブジェクトのトリミング境界ボックスをサーバ406に送信する。トリミング境界ボックスをパディングすることで、サーバ側のアルゴリズムにオブジェクト検知を実施するためのより多くの画素背景を与え、カメラ側のアルゴリズムによって切り捨てられたオブジェクトの一部をサーバ側のアルゴリズムに復元させる。次に(2)サーバ406は、精度は高いが電力がより強いアルゴリズムを用いて、パディング済トリミング境界ボックスに対してオブジェクト検知を実施する。
Therefore, in one embodiment, object detection is performed in the following two stages. (1) The
これによって、ネットワーク帯域幅の使用中に妥協点を提供する。というのも、オブジェクトのトリミング境界ボックスを抱えているネットワークストリームは帯域幅が非常に低いことがあるからである。高速のフレームレートで全フレームを送信することは、映像コーデック(これはサーバ406上での映像の復号化を必要とする)を使用しないかぎり、そのような環境では実用的でない。
This provides a compromise while using network bandwidth. This is because network streams that have object trimming bounding boxes can have very low bandwidth. Sending all frames at a high frame rate is not practical in such an environment unless a video codec, which requires video decoding on
サーバ側のオブジェクト検知が符号化した映像ストリームに対して実施された場合(映像の録画に使用したもののように)、オブジェクト検知アルゴリズムを実行する前に映像の復号化を実施する必要がある。ただし、複数の映像ストリームを復号化するのに必要な計算要件は高すぎて実用的でない可能性がある。 If server-side object detection is performed on the encoded video stream (like the one used to record the video), then the video must be decoded before the object detection algorithm is executed. However, the computational requirements required to decode multiple video streams may be too high and impractical.
そのため、この実施形態では、カメラ108は、「おおよその」オブジェクト検知を実施し、比較的低い帯域幅の通信チャネルを用いて関連するパディング済トリミング境界ボックスをサーバに送信する。したがってカメラ108は、コンピュータをあまり駆使しないアルゴリズムを用いて関心オブジェクトを含んでいそうなパディング済トリミング境界ボックスを作成する。
Therefore, in this embodiment, the
以上の説明では、ヒトオブジェクトが主な関心オブジェクトである実施形態の例を挙げているが、オブジェクトからトリミング境界ボックスを抜き出し、そこから特徴ベクトルの表現を計算し、さらにはこの特徴ベクトルを基底として用いてそれに反する特徴ベクトルを他のオブジェクトと比較するという基本的方法は、検討しているオブジェクトのクラスを断定するものではないことが理解されるであろう。標本オブジェクトとして、例えば鞄、バックパックまたはスーツケースがあり得る。したがって、車両、動物、および無生物オブジェクトの位置を特定する外観検索システムは、記載した実施形態の動作の趣旨および原理を逸脱しないかぎり、本明細書に記載した特徴および/または機能を用いて実施し得る。 In the above description, an example of the embodiment in which the human object is the main object of interest is given. However, the trimming boundary box is extracted from the object, the representation of the feature vector is calculated from the object, and the feature vector is used as the basis. It will be understood that the basic method of using and comparing the opposite feature vector with other objects does not conclude the class of the object under consideration. Specimen objects can be, for example, bags, backpacks or suitcases. Accordingly, appearance search systems that locate vehicles, animals, and inanimate objects may be implemented using the features and / or functions described herein, as long as they do not deviate from the gist and principles of operation of the described embodiments. obtain.
以上の説明では、実施形態の例を挙げているが、記載した実施形態のいくつかの特徴および/または機能は、記載した実施形態の動作の趣旨および原理を逸脱しないかぎり、修正が可能であることが理解されるであろう。したがって、上記に記載したことは、非限定的に説明していることを意図しており、本明細書に添付の請求項に記載した本発明の範囲を逸脱しないかぎり、他の変形例および修正例を加えてよいことが当業者には理解されるであろう。さらに、本明細書に記載したどの実施形態のどの特徴も、本明細書に記載した他のどの実施形態の他のどの特徴とも適切に組み合わせてよい。 Although an example of the embodiment is given in the above description, some features and / or functions of the described embodiment can be modified as long as they do not deviate from the purpose and principle of the operation of the described embodiment. Will be understood. Accordingly, what is described above is intended to be non-limitingly explained, as long as it does not deviate from the scope of the invention described in the claims attached herein. Those skilled in the art will appreciate that examples may be added. In addition, any feature of any of the embodiments described herein may be appropriately combined with any other feature of any other embodiment described herein.
Claims (72)
ある場面の映像を取り込むように構成された1つ以上のカメラであって、前記映像がオブジェクトの画像を有している、1つ以上のカメラと、
1つ以上のプロセッサおよびメモリであって、前記メモリに記憶されるコンピュータプログラムコードを含み、前記1つ以上のプロセッサによって実行されたときに前記1つ以上のプロセッサが、
前記オブジェクトの前記画像内にある1つ以上の前記オブジェクトを識別することと、
前記識別したオブジェクトのシグネチャを生成し、関心オブジェクトのシグネチャを生成するように構成された学習機械を実装することと
を含む方法を実施するように構成された、1つ以上のプロセッサおよびメモリと、
前記カメラからの前記オブジェクトの前記画像を前記1つ以上のプロセッサに送信するように構成されたネットワークと
を備え、
前記方法はさらに、
前記識別したオブジェクトの前記シグネチャを前記関心オブジェクトの前記シグネチャと比較して前記識別したオブジェクトに対する類似度スコアを生成することと、
前記類似度スコアに基づいて前記オブジェクトの画像の1つ以上をディスプレイに提示する命令を伝送することと
を含む、システム。 It ’s an appearance search system.
One or more cameras configured to capture an image of a scene, wherein the image has an image of an object.
One or more processors and memory, comprising computer program code stored in said memory, said one or more processors when executed by said one or more processors.
Identifying one or more of the objects in the image of the object.
With one or more processors and memory configured to implement methods including generating signatures for the identified objects and implementing learning machines configured to generate signatures for objects of interest.
A network configured to transmit the image of the object from the camera to the one or more processors.
The method further
To generate a similarity score for the identified object by comparing the signature of the identified object with the signature of the object of interest.
A system comprising transmitting an instruction to present one or more images of the object to a display based on the similarity score.
少なくとも1つの前記画像内の複数の前記オブジェクトを識別することと、
前記少なくとも1つの画像を複数の分割画像に分割し、1つ1つの分割画像が前記識別したオブジェクトのうちの1つの少なくとも一部を含むことと
を含む、請求項1~18のいずれか一項に記載のシステム。 The identification is
Identifying a plurality of the objects in at least one image and
One of claims 1 to 18, wherein the at least one image is divided into a plurality of divided images, and each divided image includes at least a part of one of the identified objects. The system described in.
1つ1つの識別したオブジェクトに対し、
信頼度を判定することと、
前記信頼度が信頼要件を満たしていない場合に、前記識別および分前記割を前記第1の学習機械に実施させるか、または、
前記信頼度が前記信頼要件を満たしている場合に、前記識別および前記分割を前記第2の学習機械に実施させることと
を含む、請求項19に記載のシステム。 The present method further
For each identified object
Judging the reliability and
If the reliability does not meet the reliability requirement, the first learning machine is made to perform the identification and the division.
19. The system of claim 19, comprising having the second learning machine perform the identification and the division when the reliability meets the reliability requirement.
ある場面の映像を取り込み、前記映像がオブジェクトの画像を有していることと、
前記オブジェクトの前記画像内にある1つ以上の前記オブジェクトを識別することと、
学習機械を用いて、前記識別したオブジェクトのシグネチャ、および関心オブジェクトのシグネチャを生成することと、
前記識別したオブジェクトの前記シグネチャを前記関心オブジェクトの前記第1のシグネチャと比較することによって、前記識別したオブジェクトに対する類似度スコアを生成することと、
前記類似度スコアに基づいて前記オブジェクトの1つ以上の前記画像をディスプレイに提示することと
を含む、方法。 It ’s a method,
Capturing a video of a scene, the video has an image of an object,
Identifying one or more of the objects in the image of the object.
Using a learning machine to generate the signature of the identified object and the signature of the object of interest,
Generating a similarity score for the identified object by comparing the signature of the identified object with the first signature of the object of interest.
A method comprising presenting one or more of the images of the object on a display based on the similarity score.
少なくとも1つの前記画像内の複数の前記オブジェクトを識別することと、
前記少なくとも1つの画像を複数の分割画像に分割し、1つ1つの分割画像が前記識別したオブジェクトのうちの1つの少なくとも一部を含むことと
を含む、請求項22~38のいずれか一項に記載の方法。 The identification is
Identifying a plurality of the objects in at least one image and
One of claims 22 to 38, wherein the at least one image is divided into a plurality of divided images, and each divided image includes at least a part of one of the identified objects. The method described in.
1つ1つの識別したオブジェクトに対し、
信頼度を判定することと、
前記信頼度が信頼要件を満たしていない場合に、前記識別および分前記割を前記第1の学習機械に実施させるか、または、
前記信頼度が前記信頼要件を満たしている場合に、前記識別および前記分割を前記第2の学習機械に実施させることと
を含む、請求項39に記載の方法。 The present method further
For each identified object
Judging the reliability and
If the reliability does not meet the reliability requirement, the first learning machine is made to perform the identification and the division.
39. The method of claim 39, comprising having the second learning machine perform the identification and the division when the reliability meets the reliability requirement.
ある場面の映像を取り込み、前記映像がオブジェクトの画像を有していることと、
前記オブジェクトの前記画像内にある1つ以上の前記オブジェクトを識別することと、
学習機械を用いて、前記識別したオブジェクトのシグネチャ、および関心オブジェクトのシグネチャを生成することと、
前記識別したオブジェクトの前記シグネチャを前記関心オブジェクトの前記第1のシグネチャと比較することによって、前記識別したオブジェクトに対する類似度スコアを生成することと、
前記類似度スコアに基づいて前記オブジェクトの1つ以上の前記画像をディスプレイに提示することと
を含む、方法
を実施するように構成される、コンピュータ可読媒体。 Computer program code that can be executed by one or more processors is stored, and when executed by one or more processors, one or more processors
Capturing a video of a scene, the video has an image of an object,
Identifying one or more of the objects in the image of the object.
Using a learning machine to generate the signature of the identified object and the signature of the object of interest,
Generating a similarity score for the identified object by comparing the signature of the identified object with the first signature of the object of interest.
A computer-readable medium configured to carry out a method comprising presenting one or more of the images of the object on a display based on the similarity score.
少なくとも1つの前記画像内の複数の前記オブジェクトを識別することと、
前記少なくとも1つの画像を複数の分割画像に分割し、1つ1つの分割画像が前記識別したオブジェクトのうちの1つの少なくとも一部を含むことと
を含む、請求項41~57のいずれか一項に記載のコンピュータ可読媒体。 The identification is
Identifying a plurality of the objects in at least one image and
One of claims 41 to 57, comprising dividing the at least one image into a plurality of divided images, and including that each divided image includes at least a part of one of the identified objects. A computer-readable medium described in.
1つ1つの識別したオブジェクトに対し、
信頼度を判定することと、
前記信頼度が信頼要件を満たしていない場合に、前記識別および分前記割を前記第1の学習機械に実施させるか、または、
前記信頼度が前記信頼要件を満たしている場合に、前記識別および前記分割を前記第2の学習機械に実施させることと
を含む、請求項58に記載のコンピュータ可読媒体。 The present method further
For each identified object
Judging the reliability and
If the reliability does not meet the reliability requirement, the first learning machine is made to perform the identification and the division.
58. The computer-readable medium of claim 58, comprising having the second learning machine perform the identification and the division when the reliability meets the reliability requirement.
ある場面の映像を取り込むように構成された1つ以上のカメラと、
1つ以上のプロセッサおよびメモリであって、前記メモリに記憶されるコンピュータプログラムコードを含み、前記1つ以上のプロセッサによって実行されたときに前記1つ以上のプロセッサが、
前記映像からチップを抜き出し、前記チップは、オブジェクトの画像を含むことと、
少なくとも1つの前記チップ内にある複数のオブジェクトを識別することと、
前記少なくとも1つのチップを複数の分割チップに分割し、1つ1つの分割チップが前記識別したオブジェクトのうちの1つの少なくとも一部を含むことと
を含む方法を実施するように構成された、1つ以上のプロセッサおよびメモリと、
を備えているシステム。 It ’s a system,
One or more cameras configured to capture footage of a scene,
One or more processors and memory, comprising computer program code stored in said memory, said one or more processors when executed by said one or more processors.
The chip is extracted from the image, and the chip contains an image of an object.
Identifying multiple objects within at least one chip
1. With more than one processor and memory
A system that features.
前記識別したオブジェクトのシグネチャを生成し、関心オブジェクトのシグネチャを生成するように構成された学習機械を実装すること
を含む、請求項60に記載のシステム。 The method further
60. The system of claim 60, comprising implementing a learning machine configured to generate the signature of the identified object and generate the signature of the object of interest.
1つ1つの識別したオブジェクトに対し、
信頼度を判定することと、
前記信頼度が信頼要件を満たしていない場合に、前記識別および分前記割を前記第1の学習機械に実施させるか、または、
前記信頼度が前記信頼要件を満たしている場合に、前記識別および前記分割を前記第2の学習機械に実施させることと
を含む、請求項62に記載のシステム。 The present method further
For each identified object
Judging the reliability and
If the reliability does not meet the reliability requirement, the first learning machine is made to perform the identification and the division.
62. The system of claim 62, comprising having the second learning machine perform the identification and the division when the reliability meets the reliability requirement.
ある場面の映像を得ることを含むことと、
前記映像からチップを抜き出し、前記チップは、オブジェクトの画像を含むことと、
少なくとも1つの前記チップ内にある複数のオブジェクトを識別することと、
前記少なくとも1つのチップを複数の分割チップに分割し、1つ1つの分割チップが前記識別したオブジェクトのうちの1つの少なくとも一部を含むことと
を含む、方法
を実施するように構成される、コンピュータ可読媒体。 Computer program code that can be executed by one or more processors is stored, and when executed by one or more processors, one or more processors
Including getting a video of a scene and
The chip is extracted from the image, and the chip contains an image of an object.
Identifying multiple objects within at least one chip
It is configured to carry out a method comprising dividing the at least one chip into a plurality of split chips and including that each split chip comprises at least a portion of one of the identified objects. Computer-readable medium.
前記識別したオブジェクトのシグネチャを生成し、関心オブジェクトのシグネチャを生成するように構成された学習機械を実装すること
を含む、請求項67に記載のコンピュータ可読媒体。 The method further
67. The computer-readable medium of claim 67, comprising implementing a learning machine configured to generate the signature of the identified object and generate the signature of the object of interest.
1つ1つの識別したオブジェクトに対し、
信頼度を判定することと、
前記信頼度が信頼要件を満たしていない場合に、前記識別および分前記割を前記第1の学習機械に実施させるか、または、
前記信頼度が前記信頼要件を満たしている場合に、前記識別および前記分割を前記第2の学習機械に実施させることと
を含む、請求項69に記載のコンピュータ可読媒体。 The present method further
For each identified object
Judging the reliability and
If the reliability does not meet the reliability requirement, the first learning machine is made to perform the identification and the division.
The computer-readable medium of claim 69, comprising having the second learning machine perform the identification and the division when the reliability meets the reliability requirement.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023117547A JP2023145558A (en) | 2016-12-05 | 2023-07-19 | Appearance search system and method |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662430292P | 2016-12-05 | 2016-12-05 | |
US62/430,292 | 2016-12-05 | ||
US201762527894P | 2017-06-30 | 2017-06-30 | |
US62/527,894 | 2017-06-30 | ||
JP2019529970A JP2020503604A (en) | 2016-12-05 | 2017-12-05 | Appearance search system and method |
PCT/CA2017/051469 WO2018102919A1 (en) | 2016-12-05 | 2017-12-05 | System and method for appearance search |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529970A Division JP2020503604A (en) | 2016-12-05 | 2017-12-05 | Appearance search system and method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117547A Division JP2023145558A (en) | 2016-12-05 | 2023-07-19 | Appearance search system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022023887A true JP2022023887A (en) | 2022-02-08 |
JP7317919B2 JP7317919B2 (en) | 2023-07-31 |
Family
ID=62243913
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529970A Withdrawn JP2020503604A (en) | 2016-12-05 | 2017-12-05 | Appearance search system and method |
JP2021171909A Active JP7317919B2 (en) | 2016-12-05 | 2021-10-20 | Appearance search system and method |
JP2023117547A Pending JP2023145558A (en) | 2016-12-05 | 2023-07-19 | Appearance search system and method |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529970A Withdrawn JP2020503604A (en) | 2016-12-05 | 2017-12-05 | Appearance search system and method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117547A Pending JP2023145558A (en) | 2016-12-05 | 2023-07-19 | Appearance search system and method |
Country Status (10)
Country | Link |
---|---|
US (2) | US10726312B2 (en) |
EP (1) | EP3549063A4 (en) |
JP (3) | JP2020503604A (en) |
KR (1) | KR102560308B1 (en) |
CN (2) | CN117095349A (en) |
AU (2) | AU2017372905B2 (en) |
CA (2) | CA3077830C (en) |
IL (1) | IL267115B (en) |
MX (1) | MX2019006588A (en) |
WO (1) | WO2018102919A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024090390A1 (en) * | 2022-10-24 | 2024-05-02 | ソフトバンクグループ株式会社 | Information processing device, vehicle, information processing method, and information processing program |
Families Citing this family (86)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018033156A1 (en) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | Video image processing method, device, and electronic apparatus |
US10318827B2 (en) * | 2016-12-19 | 2019-06-11 | Waymo Llc | Object detection neural networks |
US10229322B2 (en) * | 2017-04-06 | 2019-03-12 | Ants Technology (Hk) Limited | Apparatus, methods and computer products for video analytics |
EP3610410A1 (en) * | 2017-04-14 | 2020-02-19 | Koninklijke Philips N.V. | Person identification systems and methods |
CN107423571B (en) * | 2017-05-04 | 2018-07-06 | 深圳硅基仿生科技有限公司 | Diabetic retinopathy identifying system based on eye fundus image |
CA3072471A1 (en) * | 2017-09-01 | 2019-03-07 | Percipient.ai Inc. | Identification of individuals in a digital file using media analysis techniques |
US11284062B2 (en) * | 2017-09-05 | 2022-03-22 | Texas Instruments Incorporated | Automotive display validation |
CN107679466B (en) * | 2017-09-21 | 2021-06-15 | 百度在线网络技术(北京)有限公司 | Information output method and device |
US11288508B2 (en) | 2017-10-02 | 2022-03-29 | Sensen Networks Group Pty Ltd | System and method for machine learning-driven object detection |
US11475351B2 (en) * | 2017-11-15 | 2022-10-18 | Uatc, Llc | Systems and methods for object detection, tracking, and motion prediction |
US11455801B2 (en) | 2017-12-05 | 2022-09-27 | Avigilon Corporation | Generating signatures within a network that includes a plurality of computing devices of varying processing capabilities |
US10417501B2 (en) * | 2017-12-06 | 2019-09-17 | International Business Machines Corporation | Object recognition in video |
CN108399381B (en) * | 2018-02-12 | 2020-10-30 | 北京市商汤科技开发有限公司 | Pedestrian re-identification method and device, electronic equipment and storage medium |
US11100350B2 (en) | 2018-02-19 | 2021-08-24 | Avigilon Corporation | Method and system for object classification using visible and invisible light images |
US20210034837A1 (en) * | 2018-02-27 | 2021-02-04 | Homo Mimicus Co., Ltd | Remote control system and method to support separate operation of an animal, and animal wearable multi-use module platform system |
US20190279043A1 (en) | 2018-03-06 | 2019-09-12 | Tazi AI Systems, Inc. | Online machine learning system that continuously learns from data and human input |
JP6760318B2 (en) * | 2018-03-14 | 2020-09-23 | オムロン株式会社 | Face image identification system, classifier generator, identification device, image identification system, and identification system |
CA3088781A1 (en) | 2018-03-23 | 2019-09-26 | Avigilon Coporation | Method and system for interfacing with a user to facilitate an image search for an object-of-interest |
US20190304102A1 (en) * | 2018-03-30 | 2019-10-03 | Qualcomm Incorporated | Memory efficient blob based object classification in video analytics |
US10776672B2 (en) | 2018-04-25 | 2020-09-15 | Avigilon Corporation | Sensor fusion for monitoring an object-of-interest in a region |
US11157524B2 (en) * | 2018-05-18 | 2021-10-26 | At&T Intellectual Property I, L.P. | Automated learning of anomalies in media streams with external feed labels |
WO2019241798A1 (en) * | 2018-06-15 | 2019-12-19 | Google Llc | Self-supervised robotic object interaction |
WO2019245359A1 (en) * | 2018-06-21 | 2019-12-26 | N.V. Nutricia | Method and system for characterizing stool patterns of young infants |
EP3807782A4 (en) * | 2018-07-17 | 2022-03-23 | Avigilon Corporation | Hash-based appearance search |
US11748418B2 (en) * | 2018-07-31 | 2023-09-05 | Marvell Asia Pte, Ltd. | Storage aggregator controller with metadata computation control |
US11055854B2 (en) * | 2018-08-23 | 2021-07-06 | Seoul National University R&Db Foundation | Method and system for real-time target tracking based on deep learning |
BR102018067756A8 (en) * | 2018-09-04 | 2022-12-06 | Univ Estadual Campinas Unicamp | MANAGEMENT SYSTEM AND ANIMAL IDENTIFICATION METHOD |
US10643667B2 (en) | 2018-09-11 | 2020-05-05 | Avigilon Corporation | Bounding box doubling as redaction boundary |
WO2020061236A1 (en) * | 2018-09-18 | 2020-03-26 | Focal Systems, Inc. | Product onboarding machine |
US11423648B2 (en) * | 2018-09-27 | 2022-08-23 | Ncr Corporation | Item recognition processing over time |
GB2577689B (en) * | 2018-10-01 | 2023-03-22 | Digital Barriers Services Ltd | Video surveillance and object recognition |
GB2611949B (en) * | 2018-10-01 | 2023-08-09 | Digital Barriers Services Ltd | Video surveillance and object recognition |
US11443165B2 (en) * | 2018-10-18 | 2022-09-13 | Deepnorth Inc. | Foreground attentive feature learning for person re-identification |
US10504027B1 (en) * | 2018-10-26 | 2019-12-10 | StradVision, Inc. | CNN-based learning method, learning device for selecting useful training data and test method, test device using the same |
US11055874B2 (en) * | 2018-10-30 | 2021-07-06 | Ncr Corporation | Image processing for tracking actions of individuals |
TWI686748B (en) * | 2018-12-07 | 2020-03-01 | 國立交通大學 | People-flow analysis system and people-flow analysis method |
WO2020131033A1 (en) * | 2018-12-18 | 2020-06-25 | Rovi Guides, Inc. | Systems and methods for automated tracking using a client device |
WO2020131037A1 (en) * | 2018-12-18 | 2020-06-25 | Rovi Guides, Inc. | Systems and methods for automated tracking on a handheld device using a remote camera |
US10769915B2 (en) * | 2018-12-31 | 2020-09-08 | TCL Research America Inc. | Privacy preserving camera |
JP7136234B2 (en) * | 2019-01-17 | 2022-09-13 | 日本電気株式会社 | Information processing device, control method, and program |
US11587415B2 (en) * | 2019-01-31 | 2023-02-21 | Nec Corporation | Data stream allocation method, system and program |
KR102246408B1 (en) * | 2019-02-14 | 2021-05-18 | 엔에이치엔 주식회사 | Method for providing similar products based on deep-learning |
KR102391817B1 (en) * | 2019-02-18 | 2022-04-29 | 주식회사 아이도트 | Deep learning system |
WO2020176869A1 (en) * | 2019-02-28 | 2020-09-03 | Stats Llc | System and method for player reidentification in broadcast video |
US10915786B2 (en) * | 2019-02-28 | 2021-02-09 | Sap Se | Object detection and candidate filtering system |
US20200342291A1 (en) * | 2019-04-23 | 2020-10-29 | Apical Limited | Neural network processing |
US11195172B2 (en) | 2019-07-24 | 2021-12-07 | Capital One Services, Llc | Training a neural network model for recognizing handwritten signatures based on different cursive fonts and transformations |
US11586682B2 (en) | 2019-07-30 | 2023-02-21 | Motorola Solutions, Inc. | Method and system for enhancing a VMS by intelligently employing access control information therein |
US20210049500A1 (en) * | 2019-08-15 | 2021-02-18 | Oath Inc. | Model training framework |
US11831947B2 (en) | 2019-10-15 | 2023-11-28 | Motorola Solutions, Inc. | Video analytics conflict detection and mitigation |
CN112714349B (en) * | 2019-10-24 | 2023-06-27 | 阿里巴巴集团控股有限公司 | Data processing method, commodity display method and video playing method |
US11238314B2 (en) * | 2019-11-15 | 2022-02-01 | Salesforce.Com, Inc. | Image augmentation and object detection |
US11216666B2 (en) * | 2019-12-11 | 2022-01-04 | Fujifilm Business Innovation Corp. | Understanding normality of an environment using semantic information from images |
FR3104774B1 (en) * | 2019-12-11 | 2022-01-07 | Bull Sas | Associated item tracking method, electronic device and computer program product |
US20210200826A1 (en) * | 2019-12-26 | 2021-07-01 | Motorola Solutions, Inc. | Appearance search for incident response |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
CN111353585A (en) * | 2020-02-25 | 2020-06-30 | 北京百度网讯科技有限公司 | Structure searching method and device of neural network model |
KR102462733B1 (en) * | 2020-03-03 | 2022-11-04 | 한국과학기술연구원 | Robust Multi-Object Detection Apparatus and Method Using Siamese Network |
CN111782633B (en) * | 2020-06-29 | 2024-04-30 | 北京百度网讯科技有限公司 | Data processing method and device and electronic equipment |
US11443510B2 (en) | 2020-08-03 | 2022-09-13 | Motorola Solutions, Inc. | Method, system and computer program product that provides virtual assistance in facilitating visual comparison |
CN114079820A (en) * | 2020-08-19 | 2022-02-22 | 安霸国际有限合伙企业 | Interval shooting video generation centered on an event/object of interest input on a camera device by means of a neural network |
KR102253989B1 (en) * | 2020-08-19 | 2021-05-20 | 이노뎁 주식회사 | object tracking method for CCTV video by use of Deep Learning object detector |
KR102375509B1 (en) * | 2020-09-07 | 2022-03-17 | 주식회사 한글과컴퓨터 | Format conversion task allocating apparatus which allocates tasks for converting format of document files to multiple format converting servers and the operating method thereof |
TWI812888B (en) * | 2020-10-14 | 2023-08-21 | 財團法人工業技術研究院 | Image recognition method and image recognition system |
CN112040325B (en) * | 2020-11-02 | 2021-01-29 | 成都睿沿科技有限公司 | Video playing method and device, electronic equipment and storage medium |
CN112330711B (en) * | 2020-11-26 | 2023-12-05 | 北京奇艺世纪科技有限公司 | Model generation method, information extraction device and electronic equipment |
US12039014B2 (en) * | 2020-12-01 | 2024-07-16 | Motorola Solutions, Inc. | Obtaining potential match results for a reference image across a plurality of system sites |
US11509832B2 (en) | 2020-12-01 | 2022-11-22 | Western Digital Technologies, Inc. | Low light surveillance system with dual video streams |
MX2023001144A (en) | 2020-12-15 | 2023-04-14 | Selex Es Inc | Systems and methods for electronic signature tracking. |
US20220188547A1 (en) * | 2020-12-16 | 2022-06-16 | Here Global B.V. | Method, apparatus, and computer program product for identifying objects of interest within an image captured by a relocatable image capture device |
US11900662B2 (en) | 2020-12-16 | 2024-02-13 | Here Global B.V. | Method, apparatus, and computer program product for training a signature encoding module and a query processing module to identify objects of interest within an image utilizing digital signatures |
US11830103B2 (en) | 2020-12-23 | 2023-11-28 | Here Global B.V. | Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data |
US11829192B2 (en) | 2020-12-23 | 2023-11-28 | Here Global B.V. | Method, apparatus, and computer program product for change detection based on digital signatures |
US11587253B2 (en) | 2020-12-23 | 2023-02-21 | Here Global B.V. | Method, apparatus, and computer program product for displaying virtual graphical data based on digital signatures |
EP4268473A4 (en) * | 2020-12-28 | 2024-05-22 | Samsung Electronics Co., Ltd. | System and method for automatic video reconstruction with dynamic point of interest |
CN112581544B (en) * | 2020-12-30 | 2022-04-19 | 易思维(杭州)科技有限公司 | Camera calibration method without public view field based on parameter optimization |
CN112818808B (en) * | 2021-01-27 | 2024-01-19 | 南京大学 | High-precision gait recognition method combining two vector embedding spaces |
US11496671B2 (en) | 2021-02-19 | 2022-11-08 | Western Digital Technologies, Inc. | Surveillance video streams with embedded object data |
IL305407A (en) * | 2021-02-22 | 2023-10-01 | Briefcam Ltd | Method and system for visual analysis and assessment of customer interaction at a scene |
WO2023039072A2 (en) * | 2021-09-09 | 2023-03-16 | Selex Es Inc. | Systems and methods for electronic surveillance |
EP4148581B1 (en) * | 2021-09-10 | 2023-08-30 | Axis AB | Verification of updated analytical procedures in monitoring systems |
EP4187505A1 (en) * | 2021-11-26 | 2023-05-31 | Cattle Eye Ltd | A method and system for the identification of animals |
US11991295B2 (en) | 2021-12-07 | 2024-05-21 | Here Global B.V. | Method, apparatus, and computer program product for identifying an object of interest within an image from a digital signature generated by a signature encoding module including a hypernetwork |
US12014447B2 (en) * | 2022-02-17 | 2024-06-18 | Revieve Oy | Method and system for dynamic cropping of full body pose images |
US20240062529A1 (en) * | 2022-08-18 | 2024-02-22 | Microsoft Technology Licensing, Llc | Determining media documents embedded in other media documents |
US20240241908A1 (en) * | 2023-01-12 | 2024-07-18 | Motorola Solutions, Inc. | Searchable video with binary vectors |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005967A (en) * | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | Image transmitter and neural network |
JP2010073112A (en) * | 2008-09-22 | 2010-04-02 | Omron Corp | Face collating system |
US20100124271A1 (en) * | 2008-11-18 | 2010-05-20 | Andrew Martz | Method, system and apparatus for image capture, analysis and transmission |
US20100157065A1 (en) * | 2008-12-22 | 2010-06-24 | Kunio Yata | Autofocus system |
US20140333775A1 (en) * | 2013-05-10 | 2014-11-13 | Robert Bosch Gmbh | System And Method For Object And Event Identification Using Multiple Cameras |
JP2015002553A (en) * | 2013-06-18 | 2015-01-05 | キヤノン株式会社 | Information system and control method thereof |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7627171B2 (en) | 2003-07-03 | 2009-12-01 | Videoiq, Inc. | Methods and systems for detecting objects of interest in spatio-temporal signals |
US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
JP5278770B2 (en) * | 2007-02-08 | 2013-09-04 | ビヘイヴィアラル レコグニション システムズ, インコーポレイテッド | Behavior recognition system |
US8170280B2 (en) * | 2007-12-03 | 2012-05-01 | Digital Smiths, Inc. | Integrated systems and methods for video-based object modeling, recognition, and tracking |
GB2491987B (en) | 2008-03-03 | 2013-03-27 | Videoiq Inc | Method of searching data for objects identified by object detection |
US8886206B2 (en) | 2009-05-01 | 2014-11-11 | Digimarc Corporation | Methods and systems for content processing |
US20130128050A1 (en) * | 2011-11-22 | 2013-05-23 | Farzin Aghdasi | Geographic map based control |
EP2973217B1 (en) * | 2013-03-15 | 2023-10-25 | Hologic, Inc. | System and method for reviewing and analyzing cytological specimens |
WO2014182551A1 (en) * | 2013-05-06 | 2014-11-13 | Hercules Incorporated | Device and method for analysis of coating additive performance |
US9378420B1 (en) * | 2013-06-04 | 2016-06-28 | Hrl Laboratories, Llc | System for detecting an object of interest in a scene |
AU2013242830B2 (en) | 2013-10-10 | 2016-11-24 | Canon Kabushiki Kaisha | A method for improving tracking in crowded situations using rival compensation |
US9646131B2 (en) * | 2014-06-27 | 2017-05-09 | Oracle International Corporation | Intelligent image processing for enterprise applications |
AU2014240213B2 (en) * | 2014-09-30 | 2016-12-08 | Canon Kabushiki Kaisha | System and Method for object re-identification |
-
2017
- 2017-12-05 WO PCT/CA2017/051469 patent/WO2018102919A1/en active Application Filing
- 2017-12-05 US US15/832,654 patent/US10726312B2/en active Active
- 2017-12-05 CN CN202310980005.4A patent/CN117095349A/en active Pending
- 2017-12-05 EP EP17877733.0A patent/EP3549063A4/en active Pending
- 2017-12-05 JP JP2019529970A patent/JP2020503604A/en not_active Withdrawn
- 2017-12-05 CA CA3077830A patent/CA3077830C/en active Active
- 2017-12-05 AU AU2017372905A patent/AU2017372905B2/en active Active
- 2017-12-05 CA CA3000127A patent/CA3000127C/en active Active
- 2017-12-05 KR KR1020197019166A patent/KR102560308B1/en active IP Right Grant
- 2017-12-05 MX MX2019006588A patent/MX2019006588A/en unknown
- 2017-12-05 CN CN201780085044.0A patent/CN110235138B/en active Active
-
2019
- 2019-06-05 IL IL267115A patent/IL267115B/en unknown
-
2020
- 2020-06-22 US US16/908,026 patent/US11113587B2/en active Active
-
2021
- 2021-10-20 JP JP2021171909A patent/JP7317919B2/en active Active
-
2022
- 2022-10-13 AU AU2022252799A patent/AU2022252799B2/en active Active
-
2023
- 2023-07-19 JP JP2023117547A patent/JP2023145558A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005967A (en) * | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | Image transmitter and neural network |
JP2010073112A (en) * | 2008-09-22 | 2010-04-02 | Omron Corp | Face collating system |
US20100124271A1 (en) * | 2008-11-18 | 2010-05-20 | Andrew Martz | Method, system and apparatus for image capture, analysis and transmission |
US20100157065A1 (en) * | 2008-12-22 | 2010-06-24 | Kunio Yata | Autofocus system |
US20140333775A1 (en) * | 2013-05-10 | 2014-11-13 | Robert Bosch Gmbh | System And Method For Object And Event Identification Using Multiple Cameras |
JP2015002553A (en) * | 2013-06-18 | 2015-01-05 | キヤノン株式会社 | Information system and control method thereof |
Non-Patent Citations (2)
Title |
---|
中村 優吾 外4名: "ローカル環境での効果的な動画像解析を実現する分散処理システムの提案", 情報処理学会研究報告 VOL. 2016-MBL-79 NO. 32, vol. Vol. 2016-MBL-79 No. 32, JPN6022046279, 19 May 2016 (2016-05-19), pages 1 - 7, ISSN: 0004910788 * |
白井良明,三浦純: "複雑背景における人の追跡", 情報処理学会論文誌 VOL 43 NO. SIG4(CVIM 4) コンピュータビジョンとイメージメディア, vol. Vol 43 No. SIG4(CVIM 4), JPN6022046280, 15 June 2002 (2002-06-15), pages 33 - 42, ISSN: 0004910789 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024090390A1 (en) * | 2022-10-24 | 2024-05-02 | ソフトバンクグループ株式会社 | Information processing device, vehicle, information processing method, and information processing program |
Also Published As
Publication number | Publication date |
---|---|
JP7317919B2 (en) | 2023-07-31 |
EP3549063A4 (en) | 2020-06-24 |
CA3000127C (en) | 2020-06-02 |
US20180157939A1 (en) | 2018-06-07 |
WO2018102919A1 (en) | 2018-06-14 |
US20200320356A1 (en) | 2020-10-08 |
CN110235138B (en) | 2023-09-05 |
IL267115A (en) | 2019-08-29 |
JP2020503604A (en) | 2020-01-30 |
CA3077830C (en) | 2023-03-07 |
US11113587B2 (en) | 2021-09-07 |
US10726312B2 (en) | 2020-07-28 |
AU2017372905A1 (en) | 2019-07-04 |
MX2019006588A (en) | 2019-10-09 |
CA3000127A1 (en) | 2018-06-05 |
JP2023145558A (en) | 2023-10-11 |
IL267115B (en) | 2022-04-01 |
KR102560308B1 (en) | 2023-07-27 |
AU2017372905B2 (en) | 2022-08-11 |
CN117095349A (en) | 2023-11-21 |
AU2022252799A1 (en) | 2022-11-03 |
CN110235138A (en) | 2019-09-13 |
CA3077830A1 (en) | 2018-06-05 |
EP3549063A1 (en) | 2019-10-09 |
AU2022252799B2 (en) | 2023-09-28 |
KR20190099443A (en) | 2019-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7317919B2 (en) | Appearance search system and method | |
US10628683B2 (en) | System and method for CNN layer sharing | |
US10846554B2 (en) | Hash-based appearance search | |
TWI759286B (en) | System and method for training object classifier by machine learning | |
US11023707B2 (en) | System and method for selecting a part of a video image for a face detection operation | |
Serrano Gracia et al. | Fast fight detection | |
Lin et al. | Visual-attention-based background modeling for detecting infrequently moving objects | |
US20200145623A1 (en) | Method and System for Initiating a Video Stream | |
JP2013206458A (en) | Object classification based on external appearance and context in image | |
CA3011713A1 (en) | Hash-based appearance search | |
Ji et al. | News videos anchor person detection by shot clustering | |
AU2019303730B2 (en) | Hash-based appearance search | |
US11373313B2 (en) | Image processing apparatus and image processing method | |
JP2016207106A (en) | Method and device for reducing incorrect detection in object detection | |
Henderson et al. | Feature correspondence in low quality CCTV videos | |
Kumar et al. | Automated panning of video devices | |
Strat et al. | Bags of Trajectory Words for video indexing | |
Chin et al. | Boosting descriptors condensed from video sequences for place recognition | |
Azouji et al. | Highlighting Important Video Segments for Human Action Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211118 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7317919 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |