JP2022023887A - 外観検索のシステムおよび方法 - Google Patents
外観検索のシステムおよび方法 Download PDFInfo
- Publication number
- JP2022023887A JP2022023887A JP2021171909A JP2021171909A JP2022023887A JP 2022023887 A JP2022023887 A JP 2022023887A JP 2021171909 A JP2021171909 A JP 2021171909A JP 2021171909 A JP2021171909 A JP 2021171909A JP 2022023887 A JP2022023887 A JP 2022023887A
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- learning machine
- objects
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 134
- 238000004590 computer program Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 68
- 238000004458 analytical method Methods 0.000 claims description 47
- 238000003860 storage Methods 0.000 claims description 43
- 238000013528 artificial neural network Methods 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000009966 trimming Methods 0.000 description 93
- 239000013598 vector Substances 0.000 description 77
- 230000000007 visual effect Effects 0.000 description 35
- 238000001514 detection method Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 238000007726 management method Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 241000282412 Homo Species 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本明細書は、2016年12月5日に出願された米国仮特許出願第62/430,292号、および2017年6月30日に出願された米国仮特許出願第62/527,894号の利益を主張するものであり、両文献を参照してその全容を本願に援用する。
本主題は、映像監視、さらに詳細には、映像監視システムの映像にある関心オブジェクトを識別することに関する。
実装された学習機械は第2の学習機械であってよく、識別は、1つ以上のプロセッサによって実装された第1の学習機械によって実施されてよい。
1つ以上のカメラはさらに、映像解析を用いてオブジェクトの画像を取り込むように構成されてよい。
オブジェクトの識別は、画像にある1つ以上のオブジェクトの輪郭を描くことを含んでいてよい。
本開示のさらに別の態様では、ある場面の映像を取り込み、映像がオブジェクトの画像を有していることを含む方法が提供される。本方法はさらに、オブジェクトの画像内にある1つ以上のオブジェクトを識別することを含む。本方法はさらに、学習機械を用いて、識別したオブジェクトのシグネチャ、および関心オブジェクトのシグネチャを生成することを含む。本方法はさらに、識別したオブジェクトのシグネチャを関心オブジェクトの第1のシグネチャと比較することによって、識別したオブジェクトに対する類似度スコアを生成することを含む。本方法はさらに、類似度スコアに基づいてオブジェクトの1つ以上の画像をディスプレイに提示することを含む。
本開示のさらに別の態様では、1つ以上のプロセッサで実行可能なコンピュータプログラムコードが記憶され、1つ以上のプロセッサによって実行されたときに1つ以上のプロセッサがある方法を実施するように構成される、コンピュータ可読媒体が提供される。本方法は、ある場面の映像を取り込み、映像がオブジェクトの画像を有していることを含む。本方法はさらに、オブジェクトの画像内にある1つ以上のオブジェクトを識別することを含む。本方法はさらに、学習機械を用いて、識別したオブジェクトのシグネチャ、および関心オブジェクトのシグネチャを生成することを含む。本方法はさらに、識別したオブジェクトのシグネチャを関心オブジェクトの第1のシグネチャと比較することによって、識別したオブジェクトに対する類似度スコアを生成することを含む。本方法はさらに、類似度スコアに基づいてオブジェクトの1つ以上の画像をディスプレイに提示することを含む。
本開示のさらに別の態様では、ある場面の映像を取り込むように構成された1つ以上のカメラを備えているシステムが提供される。本システムはさらに、1つ以上のプロセッサおよびメモリに記憶されるコンピュータプログラムコードを含むメモリを備え、1つ以上のプロセッサによって実行されたときにその1つ以上のプロセッサがある方法を実施するように構成される。本方法は、映像からチップを抜き出すことを含み、チップは、オブジェクトの画像を含む。本方法はさらに、少なくとも1つのチップ内にある複数のオブジェクトを識別することを含む。本方法はさらに、少なくとも1つのチップを複数の分割チップに分割することを含み、1つ1つの分割したチップは、識別したオブジェクトのうちの1つの少なくとも一部を含む。
本開示のさらに別の態様では、場面の映像を取り込み、映像がオブジェクトの画像を有している、カメラと、映像に関連するオブジェクトの画像からシグネチャを生成し、関心オブジェクトの第1の画像から第1のシグネチャを生成する学習機械を含むプロセッサと、カメラからのオブジェクトの画像をプロセッサに送信するためのネットワークと、生成したオブジェクトのシグネチャおよび関連映像を記憶する記憶システムとを備え、プロセッサはさらに、画像からのシグネチャを関心オブジェクトの第1のシグネチャと比較して類似度スコアを生成し、さらに、類似度スコアがより高いオブジェクトの画像を準備してディスプレイでユーザに提示する、外観検索システムが提供される。
いくつかの例示的な実施形態によれば、ニューラルネットワークは、畳み込みニューラルネットワークである。
いくつかの例示的な実施形態によれば、グラフィックスプロセッシングユニットは、学習機械を稼働させるために使用される。
いくつかの例示的な実施形態によればオブジェクトの画像は、プロセッサに送信される前にカメラでオブジェクトの種類を分類することによって選別される。
いくつかの例示的な実施形態によれば、映像からオブジェクトの画像を取り込むカメラはさらに、映像内の画像の基準座標を取り込んで、その基準座標に基づいてオブジェクトの画像を映像から抜き出せるようにすることを含む。
いくつかの例示的な実施形態によれば、映像解析は、ある一定時間にわたってオブジェクトの1つ以上の画像を選択し、その期間に取り込んだオブジェクトの画像を表現する。
映像取り込み再生システム100は、ネットワーク140に接続している少なくとも1つのクライアントデバイス164をさらに備えている。クライアントデバイス164は、1人以上のユーザに使用されて映像取り込み再生システム100と相互作用する。したがって、クライアントデバイス164は、少なくとも1つの表示デバイスおよび少なくとも1つのユーザ入力デバイス(例えば、マウス、キーボード、またはタッチ画面など)を備えている。クライアントデバイス164はその表示デバイスに、情報を表示し、ユーザの入力内容を受信し、映像を再生するユーザインターフェースを表示するよう動作する。例えば、クライアントデバイスは、パーソナルコンピュータ、ラップトップ、タブレット、携帯情報端末(PDA)、携帯電話、スマートフォン、ゲーム機器、およびその他の移動型デバイスのいずれか1つであってよい。
さらに別の実施形態では、抜き出した画像のサイズは、検知したオブジェクトの実際の境界よりも大きく、本明細書では、パディング済トリミング境界ボックスと称する(「パディング済チップ」とも呼ぶ)。パディング済トリミング境界ボックスは、例えば、検知した前景視覚オブジェクトに近い、またはこれと重なるオブジェクトの全体または一部を含むように、境界ボックスの2倍の領域であってよい。さらに明確にすると、パディング済トリミング境界ボックスは、境界ボックス内のオブジェクトの画像のトリミング境界ボックスよりも大きい画像を有する(本明細書ではパディングしていないトリミング境界ボックスと称する)。明確にすると、本明細書で用いるトリミング境界ボックスには、パディング済トリミング境界ボックスと、パディングしていないトリミング境界ボックスとがある。パディング済トリミング境界ボックスの画像サイズは、やや大きいもの(例えば10%大きい)からかなり大きいもの(例えば1000%大きい)までサイズが変化してよいことが理解されるであろう。
次に図5を参照すると、図示されているのは、図4の例示的な実施形態の流れ図であり、クライアント420で外観照合を実施して関心オブジェクトの録画映像の場所を特定する外観検索500の詳細を示している。関心オブジェクトに対する外観検索を開始するには、類似の特徴ベクトルに対してデータベース414を検索するために関心オブジェクトの特徴ベクトルが必要である。外観検索500には、外観検索を開始する2つの例示的な方法が示されている。
次に図8を参照すると、図示されているのは、図4の例示的な実施形態の場面402およびトリミング境界ボックス404である。場面402には、検知された3人が示されている。彼らの画像802、806、808は、カメラ108で抜き出され、トリミング境界ボックス404としてサーバ406に送信される。画像802、806、808は、ある時間にわたって映像にある3人の代表画像である。映像内の3人は動いていて、それに伴い取り込まれた彼らの画像は、ある一定時間にわたって違ったものになる。画像を管理可能な数になるよう選別するため、代表的な1つの画像(または複数の画像)をトリミング境界ボックス404として選択してさらに処理する。
Claims (72)
- 外観検索システムであって、
ある場面の映像を取り込むように構成された1つ以上のカメラであって、前記映像がオブジェクトの画像を有している、1つ以上のカメラと、
1つ以上のプロセッサおよびメモリであって、前記メモリに記憶されるコンピュータプログラムコードを含み、前記1つ以上のプロセッサによって実行されたときに前記1つ以上のプロセッサが、
前記オブジェクトの前記画像内にある1つ以上の前記オブジェクトを識別することと、
前記識別したオブジェクトのシグネチャを生成し、関心オブジェクトのシグネチャを生成するように構成された学習機械を実装することと
を含む方法を実施するように構成された、1つ以上のプロセッサおよびメモリと、
前記カメラからの前記オブジェクトの前記画像を前記1つ以上のプロセッサに送信するように構成されたネットワークと
を備え、
前記方法はさらに、
前記識別したオブジェクトの前記シグネチャを前記関心オブジェクトの前記シグネチャと比較して前記識別したオブジェクトに対する類似度スコアを生成することと、
前記類似度スコアに基づいて前記オブジェクトの画像の1つ以上をディスプレイに提示する命令を伝送することと
を含む、システム。 - 前記識別したオブジェクトの前記生成したシグネチャ、および前記映像を記憶する記憶システムを備えている、請求項1に記載のシステム。
- 前記実装された学習機械は、第2の学習機械であり、前記識別は、前記1つ以上のプロセッサによって実装された第1の学習機械によって実施される、請求項1または2に記載のシステム。
- 前記第1および第2の学習機械は、ニューラルネットワークを含む、請求項3に記載のシステム。
- 前記ニューラルネットワークは、畳み込みニューラルネットワークを含む、請求項4に記載のシステム。
- 前記第1および第2の学習機械を稼働させる1つ以上のグラフィックスプロセッシングユニットをさらに含む、請求項3~5のいずれか一項に記載のシステム。
- 前記1つ以上のカメラはさらに、映像解析を用いて前記オブジェクトの前記画像を取り込むように構成される、請求項1~6のいずれか一項に記載のシステム。
- 前記1つ以上のカメラはさらに、前記オブジェクトの分類によって前記オブジェクトの前記画像を選別するように構成される、請求項1~7のいずれか一項に記載のシステム。
- 前記1つ以上のカメラはさらに、ヒトオブジェクトを含む1つ以上の前記画像を識別するように構成され、前記ネットワークはさらに、前記識別した画像のみを前記1つ以上のプロセッサに送信するように構成される、請求項8に記載のシステム。
- 前記オブジェクトの前記画像は、前記映像の画像フレームの部分を含む、請求項1~9のいずれか一項に記載のシステム。
- 前記画像フレームの前記部分は、前記画像フレームの第1の画像部分を含み、前記第1の画像部分は、少なくとも前記オブジェクトを含む、請求項10に記載のシステム。
- 前記画像フレームの前記部分は、前記画像フレームの第2の画像部分を含み、前記第2の画像部分は、前記第1の画像部分よりも大きい、請求項11に記載のシステム。
- 前記第1の学習機械は、前記第2の学習機械に対して、前記第2の画像部分内の1つ以上の前記オブジェクトの輪郭を描くように構成される、請求項12に記載のシステム。
- 前記第1の学習機械は、前記第2の学習機械に対して、前記第2の画像部分内の前記オブジェクトの輪郭を描くように構成される、請求項12に記載のシステム。
- 前記1つ以上のカメラはさらに、前記映像から前記オブジェクトの前記画像を抜き出せるように基準座標を生成するように構成される、請求項1~14のいずれか一項に記載のシステム。
- 前記記憶システムは、前記基準座標を記憶するように構成される、請求項15に記載のシステム。
- 前記1つ以上のカメラはさらに、ある一定時間にわたって取り込まれた前記映像から1つ以上の画像を選択して前記オブジェクトの1つ以上の前記画像を得るように構成される、請求項1~16のいずれか一項に記載のシステム。
- 前記オブジェクトの前記識別は、前記画像にある前記1つ以上のオブジェクトの輪郭を描くことを含む、請求項1~17のいずれか一項に記載のシステム。
- 前記識別は、
少なくとも1つの前記画像内の複数の前記オブジェクトを識別することと、
前記少なくとも1つの画像を複数の分割画像に分割し、1つ1つの分割画像が前記識別したオブジェクトのうちの1つの少なくとも一部を含むことと
を含む、請求項1~18のいずれか一項に記載のシステム。 - 前記本方法はさらに、
1つ1つの識別したオブジェクトに対し、
信頼度を判定することと、
前記信頼度が信頼要件を満たしていない場合に、前記識別および分前記割を前記第1の学習機械に実施させるか、または、
前記信頼度が前記信頼要件を満たしている場合に、前記識別および前記分割を前記第2の学習機械に実施させることと
を含む、請求項19に記載のシステム。 - 前記1つ以上のカメラはさらに、前記信頼度を判定する1つ以上の映像解析モジュールを備えている、請求項20に記載のシステム。
- 方法であって、
ある場面の映像を取り込み、前記映像がオブジェクトの画像を有していることと、
前記オブジェクトの前記画像内にある1つ以上の前記オブジェクトを識別することと、
学習機械を用いて、前記識別したオブジェクトのシグネチャ、および関心オブジェクトのシグネチャを生成することと、
前記識別したオブジェクトの前記シグネチャを前記関心オブジェクトの前記第1のシグネチャと比較することによって、前記識別したオブジェクトに対する類似度スコアを生成することと、
前記類似度スコアに基づいて前記オブジェクトの1つ以上の前記画像をディスプレイに提示することと
を含む、方法。 - 識前記別したオブジェクトの前記生成したシグネチャ、および前記映像を記憶することをさらに含む、請求項22に記載の方法。
- 前記学習機械は、第2の学習機械であり、前記識別は、前記1つ以上のプロセッサによって実装された第1の学習機械によって実施される、請求項22または23に記載の方法。
- 前記第1および第2の学習機械は、ニューラルネットワークを含む、請求項24に記載の方法。
- 前記ニューラルネットワークは、畳み込みニューラルネットワークを含む、請求項25に記載の方法。
- 前記取り込みは、映像解析を用いることを含む、請求項22~26のいずれか一項に記載の方法。
- 前記オブジェクトを分類することによって前記オブジェクトの前記画像を選別することをさらに含む、請求項22~27のいずれか一項に記載の方法。
- 前記方法はさらに、ヒトオブジェクトを含む1つ以上の前記画像を識別することを含む、請求項28に記載の方法。
- 前記オブジェクトの前記画像は、前記映像の画像フレームの部分を含む、請求項22~29のいずれか一項に記載の方法。
- 前記画像フレームの前記部分は、前記画像フレームの第1の画像部分を含み、前記第1の画像部分は、少なくとも前記オブジェクトを含む、請求項30に記載の方法。
- 前記画像フレームの前記部分は、前記画像フレームの第2の画像部分を含み、前記第2の画像部分は、前記第1の画像部分よりも大きい、請求項31に記載の方法。
- 前記第1の学習機械は、前記第2の学習機械に対して、前記第2の画像部分内の1つ以上の前記オブジェクトの輪郭を描くように構成される、請求項32に記載の方法。
- 前記第1の学習機械は、前記第2の学習機械に対して、前記第2の画像部分内の前記オブジェクトの輪郭を描くように構成される、請求項33に記載の方法。
- 前記映像から前記オブジェクトの前記画像を抜き出せるように基準座標を生成することをさらに含む、請求項22~34のいずれか一項に記載の方法。
- 前記基準座標を記憶することをさらに含む、請求項35に記載の方法。
- ある一定時間にわたって取り込まれた前記映像から1つ以上の画像を選択して前記オブジェクトの1つ以上の前記画像を得ることをさらに含む、請求項22~36のいずれか一項に記載の方法。
- 前記オブジェクトの前記識別は、前記画像にある前記1つ以上のオブジェクトの輪郭を描くことを含む、請求項22~37のいずれか一項に記載の方法。
- 前記識別は、
少なくとも1つの前記画像内の複数の前記オブジェクトを識別することと、
前記少なくとも1つの画像を複数の分割画像に分割し、1つ1つの分割画像が前記識別したオブジェクトのうちの1つの少なくとも一部を含むことと
を含む、請求項22~38のいずれか一項に記載の方法。 - 前記本方法はさらに、
1つ1つの識別したオブジェクトに対し、
信頼度を判定することと、
前記信頼度が信頼要件を満たしていない場合に、前記識別および分前記割を前記第1の学習機械に実施させるか、または、
前記信頼度が前記信頼要件を満たしている場合に、前記識別および前記分割を前記第2の学習機械に実施させることと
を含む、請求項39に記載の方法。 - 1つ以上のプロセッサで実行可能なコンピュータプログラムコードが記憶され、1つ以上のプロセッサによって実行されたときに1つ以上のプロセッサが、
ある場面の映像を取り込み、前記映像がオブジェクトの画像を有していることと、
前記オブジェクトの前記画像内にある1つ以上の前記オブジェクトを識別することと、
学習機械を用いて、前記識別したオブジェクトのシグネチャ、および関心オブジェクトのシグネチャを生成することと、
前記識別したオブジェクトの前記シグネチャを前記関心オブジェクトの前記第1のシグネチャと比較することによって、前記識別したオブジェクトに対する類似度スコアを生成することと、
前記類似度スコアに基づいて前記オブジェクトの1つ以上の前記画像をディスプレイに提示することと
を含む、方法
を実施するように構成される、コンピュータ可読媒体。 - 前記方法はさらに、前記識別したオブジェクトの前記生成したシグネチャ、および前記映像を記憶することを含む、請求項41に記載のコンピュータ可読媒体。
- 前記学習機械は、第2の学習機械であり、前記識別は、第1の学習機械によって実施される、請求項41または42に記載のコンピュータ可読媒体。
- 前記第1および第2の学習機械は、ニューラルネットワークを含む、請求項43に記載のコンピュータ可読媒体。
- 前記ニューラルネットワークは、畳み込みニューラルネットワークを含む、請求項44に記載のコンピュータ可読媒体。
- 前記取り込みは、映像解析を用いることを含む、請求項41~45のいずれか一項に記載のコンピュータ可読媒体。
- 前記方法はさらに、前記オブジェクトの分類によって前記オブジェクトの前記画像を選別することを含む、請求項41~46のいずれか一項に記載のコンピュータ可読媒体。
- 前記方法はさらに、ヒトオブジェクトを含む1つ以上の前記画像を識別することを含む、請求項47に記載のコンピュータ可読媒体。
- 前記オブジェクトの前記画像は、前記映像の画像フレームの部分を含む、請求項41~48のいずれか一項に記載のコンピュータ可読媒体。
- 前記画像フレームの前記部分は、前記画像フレームの第1の画像部分を含み、前記第1の画像部分は、少なくとも前記オブジェクトを含む、請求項49に記載のコンピュータ可読媒体。
- 前記画像フレームの前記部分は、前記画像フレームの第2の画像部分を含み、前記第2の画像部分は、前記第1の画像部分よりも大きい、請求項50に記載のコンピュータ可読媒体。
- 前記第1の学習機械は、前記第2の学習機械に対して、前記第2の画像部分内の1つ以上の前記オブジェクトの輪郭を描くように構成される、請求項51に記載のコンピュータ可読媒体。
- 前記第1の学習機械は、前記第2の学習機械に対して、前記第2の画像部分内の前記オブジェクトの輪郭を描くように構成される、請求項52に記載のコンピュータ可読媒体。
- 前記方法はさらに、前記映像から前記オブジェクトの前記画像を抜き出せるように基準座標を生成することを含む、請求項41~53のいずれか一項に記載のコンピュータ可読媒体。
- 前記方法はさらに、前記基準座標を記憶することを含む、請求項54に記載のコンピュータ可読媒体。
- 前記方法はさらに、ある一定時間にわたって取り込まれた前記映像から1つ以上の画像を選択して前記オブジェクトの1つ以上の前記画像を得ることを含む、請求項41~55のいずれか一項に記載のコンピュータ可読媒体。
- 前記オブジェクトの前記識別は、前記画像にある前記1つ以上のオブジェクトの輪郭を描くことを含む、請求項41~56のいずれか一項に記載のコンピュータ可読媒体。
- 前記識別は、
少なくとも1つの前記画像内の複数の前記オブジェクトを識別することと、
前記少なくとも1つの画像を複数の分割画像に分割し、1つ1つの分割画像が前記識別したオブジェクトのうちの1つの少なくとも一部を含むことと
を含む、請求項41~57のいずれか一項に記載のコンピュータ可読媒体。 - 前記本方法はさらに、
1つ1つの識別したオブジェクトに対し、
信頼度を判定することと、
前記信頼度が信頼要件を満たしていない場合に、前記識別および分前記割を前記第1の学習機械に実施させるか、または、
前記信頼度が前記信頼要件を満たしている場合に、前記識別および前記分割を前記第2の学習機械に実施させることと
を含む、請求項58に記載のコンピュータ可読媒体。 - システムであって、
ある場面の映像を取り込むように構成された1つ以上のカメラと、
1つ以上のプロセッサおよびメモリであって、前記メモリに記憶されるコンピュータプログラムコードを含み、前記1つ以上のプロセッサによって実行されたときに前記1つ以上のプロセッサが、
前記映像からチップを抜き出し、前記チップは、オブジェクトの画像を含むことと、
少なくとも1つの前記チップ内にある複数のオブジェクトを識別することと、
前記少なくとも1つのチップを複数の分割チップに分割し、1つ1つの分割チップが前記識別したオブジェクトのうちの1つの少なくとも一部を含むことと
を含む方法を実施するように構成された、1つ以上のプロセッサおよびメモリと、
を備えているシステム。 - 前記方法はさらに、
前記識別したオブジェクトのシグネチャを生成し、関心オブジェクトのシグネチャを生成するように構成された学習機械を実装すること
を含む、請求項60に記載のシステム。 - 前記学習機械は、第2の学習機械であり、前記識別および前記分割は、前記1つ以上のプロセッサによって実装された第1の学習機械によって実施される、請求項61に記載のシステム。
- 前記本方法はさらに、
1つ1つの識別したオブジェクトに対し、
信頼度を判定することと、
前記信頼度が信頼要件を満たしていない場合に、前記識別および分前記割を前記第1の学習機械に実施させるか、または、
前記信頼度が前記信頼要件を満たしている場合に、前記識別および前記分割を前記第2の学習機械に実施させることと
を含む、請求項62に記載のシステム。 - 前記1つ以上のカメラは、前記信頼度を判定する1つ以上の映像解析モジュールを備えている、請求項63に記載のシステム。
- 前記少なくとも1つのチップは、少なくとも1つのパディング済チップを含み、1つ1つのパディング済チップは、前記映像の画像フレームの第1の画像部分を含む、請求項60~64のいずれか一項に記載のシステム。
- 前記少なくとも1つのチップはさらに、少なくとも1つのパディングしていないチップを含み、1つ1つのパディングしていないチップは、前記映像の画像フレームの第2の画像部分を含み、前記第2の画像部分は、前記第1の画像部分よりも小さい、請求項65に記載のシステム。
- 1つ以上のプロセッサで実行可能なコンピュータプログラムコードが記憶され、1つ以上のプロセッサによって実行されたときに1つ以上のプロセッサが、
ある場面の映像を得ることを含むことと、
前記映像からチップを抜き出し、前記チップは、オブジェクトの画像を含むことと、
少なくとも1つの前記チップ内にある複数のオブジェクトを識別することと、
前記少なくとも1つのチップを複数の分割チップに分割し、1つ1つの分割チップが前記識別したオブジェクトのうちの1つの少なくとも一部を含むことと
を含む、方法
を実施するように構成される、コンピュータ可読媒体。 - 前記方法はさらに、
前記識別したオブジェクトのシグネチャを生成し、関心オブジェクトのシグネチャを生成するように構成された学習機械を実装すること
を含む、請求項67に記載のコンピュータ可読媒体。 - 前記学習機械は、第2の学習機械であり、前記識別および前記分割は、前記1つ以上のプロセッサによって実装された第1の学習機械によって実施される、請求項68に記載のコンピュータ可読媒体。
- 前記本方法はさらに、
1つ1つの識別したオブジェクトに対し、
信頼度を判定することと、
前記信頼度が信頼要件を満たしていない場合に、前記識別および分前記割を前記第1の学習機械に実施させるか、または、
前記信頼度が前記信頼要件を満たしている場合に、前記識別および前記分割を前記第2の学習機械に実施させることと
を含む、請求項69に記載のコンピュータ可読媒体。 - 前記少なくとも1つのチップは、少なくとも1つのパディング済チップを含み、1つ1つのパディング済チップは、前記映像の画像フレームの第1の画像部分を含む、請求項67~70のいずれか一項に記載のコンピュータ可読媒体。
- 前記少なくとも1つのチップはさらに、少なくとも1つのパディングしていないチップを含み、1つ1つのパディングしていないチップは、前記映像の画像フレームの第2の画像部分を含み、前記第2の画像部分は、前記第1の画像部分よりも小さい、請求項71に記載のコンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023117547A JP2023145558A (ja) | 2016-12-05 | 2023-07-19 | 外観検索のシステムおよび方法 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662430292P | 2016-12-05 | 2016-12-05 | |
US62/430,292 | 2016-12-05 | ||
US201762527894P | 2017-06-30 | 2017-06-30 | |
US62/527,894 | 2017-06-30 | ||
JP2019529970A JP2020503604A (ja) | 2016-12-05 | 2017-12-05 | 外観検索のシステムおよび方法 |
PCT/CA2017/051469 WO2018102919A1 (en) | 2016-12-05 | 2017-12-05 | System and method for appearance search |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529970A Division JP2020503604A (ja) | 2016-12-05 | 2017-12-05 | 外観検索のシステムおよび方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117547A Division JP2023145558A (ja) | 2016-12-05 | 2023-07-19 | 外観検索のシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022023887A true JP2022023887A (ja) | 2022-02-08 |
JP7317919B2 JP7317919B2 (ja) | 2023-07-31 |
Family
ID=62243913
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529970A Withdrawn JP2020503604A (ja) | 2016-12-05 | 2017-12-05 | 外観検索のシステムおよび方法 |
JP2021171909A Active JP7317919B2 (ja) | 2016-12-05 | 2021-10-20 | 外観検索のシステムおよび方法 |
JP2023117547A Pending JP2023145558A (ja) | 2016-12-05 | 2023-07-19 | 外観検索のシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529970A Withdrawn JP2020503604A (ja) | 2016-12-05 | 2017-12-05 | 外観検索のシステムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117547A Pending JP2023145558A (ja) | 2016-12-05 | 2023-07-19 | 外観検索のシステムおよび方法 |
Country Status (10)
Country | Link |
---|---|
US (2) | US10726312B2 (ja) |
EP (1) | EP3549063A4 (ja) |
JP (3) | JP2020503604A (ja) |
KR (1) | KR102560308B1 (ja) |
CN (2) | CN110235138B (ja) |
AU (2) | AU2017372905B2 (ja) |
CA (2) | CA3077830C (ja) |
IL (1) | IL267115B (ja) |
MX (1) | MX2019006588A (ja) |
WO (1) | WO2018102919A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024090390A1 (ja) * | 2022-10-24 | 2024-05-02 | ソフトバンクグループ株式会社 | 情報処理装置、車両、情報処理方法、及び情報処理プログラム |
Families Citing this family (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018033156A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和电子设备 |
US10318827B2 (en) * | 2016-12-19 | 2019-06-11 | Waymo Llc | Object detection neural networks |
US10229322B2 (en) * | 2017-04-06 | 2019-03-12 | Ants Technology (Hk) Limited | Apparatus, methods and computer products for video analytics |
EP3610410A1 (en) * | 2017-04-14 | 2020-02-19 | Koninklijke Philips N.V. | Person identification systems and methods |
CN107423571B (zh) * | 2017-05-04 | 2018-07-06 | 深圳硅基仿生科技有限公司 | 基于眼底图像的糖尿病视网膜病变识别系统 |
WO2019046820A1 (en) * | 2017-09-01 | 2019-03-07 | Percipient.ai Inc. | IDENTIFICATION OF INDIVIDUALS IN A DIGITAL FILE USING MULTIMEDIA ANALYSIS TECHNIQUES |
US11284062B2 (en) * | 2017-09-05 | 2022-03-22 | Texas Instruments Incorporated | Automotive display validation |
CN107679466B (zh) * | 2017-09-21 | 2021-06-15 | 百度在线网络技术(北京)有限公司 | 信息输出方法和装置 |
KR102501264B1 (ko) | 2017-10-02 | 2023-02-20 | 센센 네트웍스 그룹 피티와이 엘티디 | 기계 학습 기반의 개체 검출을 위한 시스템 및 방법 |
US11475351B2 (en) * | 2017-11-15 | 2022-10-18 | Uatc, Llc | Systems and methods for object detection, tracking, and motion prediction |
US11455801B2 (en) | 2017-12-05 | 2022-09-27 | Avigilon Corporation | Generating signatures within a network that includes a plurality of computing devices of varying processing capabilities |
US10417501B2 (en) * | 2017-12-06 | 2019-09-17 | International Business Machines Corporation | Object recognition in video |
CN108399381B (zh) * | 2018-02-12 | 2020-10-30 | 北京市商汤科技开发有限公司 | 行人再识别方法、装置、电子设备和存储介质 |
US11100350B2 (en) | 2018-02-19 | 2021-08-24 | Avigilon Corporation | Method and system for object classification using visible and invisible light images |
US20210034837A1 (en) * | 2018-02-27 | 2021-02-04 | Homo Mimicus Co., Ltd | Remote control system and method to support separate operation of an animal, and animal wearable multi-use module platform system |
US20190279043A1 (en) | 2018-03-06 | 2019-09-12 | Tazi AI Systems, Inc. | Online machine learning system that continuously learns from data and human input |
JP6760318B2 (ja) * | 2018-03-14 | 2020-09-23 | オムロン株式会社 | 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム |
WO2019178676A1 (en) | 2018-03-23 | 2019-09-26 | Avigilon Corporation | Method and system for interfacing with a user to facilitate an image search for an object-of-interest |
US20190304102A1 (en) * | 2018-03-30 | 2019-10-03 | Qualcomm Incorporated | Memory efficient blob based object classification in video analytics |
US10776672B2 (en) | 2018-04-25 | 2020-09-15 | Avigilon Corporation | Sensor fusion for monitoring an object-of-interest in a region |
US11157524B2 (en) * | 2018-05-18 | 2021-10-26 | At&T Intellectual Property I, L.P. | Automated learning of anomalies in media streams with external feed labels |
CN112313043B (zh) * | 2018-06-15 | 2024-04-02 | 谷歌有限责任公司 | 自我监督的机器人对象交互 |
WO2019245359A1 (en) * | 2018-06-21 | 2019-12-26 | N.V. Nutricia | Method and system for characterizing stool patterns of young infants |
WO2020014770A1 (en) * | 2018-07-17 | 2020-01-23 | Avigilon Corporation | Hash-based appearance search |
JP7326667B2 (ja) * | 2018-07-31 | 2023-08-16 | マーベル アジア ピーティーイー、リミテッド | ストレージエッジにおけるメタデータ生成 |
US11055854B2 (en) * | 2018-08-23 | 2021-07-06 | Seoul National University R&Db Foundation | Method and system for real-time target tracking based on deep learning |
BR102018067756A8 (pt) * | 2018-09-04 | 2022-12-06 | Univ Estadual Campinas Unicamp | Sistema de gerenciamento e método de identificação de animais |
US10643667B2 (en) | 2018-09-11 | 2020-05-05 | Avigilon Corporation | Bounding box doubling as redaction boundary |
WO2020061236A1 (en) * | 2018-09-18 | 2020-03-26 | Focal Systems, Inc. | Product onboarding machine |
US11423648B2 (en) * | 2018-09-27 | 2022-08-23 | Ncr Corporation | Item recognition processing over time |
GB2611949B (en) * | 2018-10-01 | 2023-08-09 | Digital Barriers Services Ltd | Video surveillance and object recognition |
GB2577689B (en) * | 2018-10-01 | 2023-03-22 | Digital Barriers Services Ltd | Video surveillance and object recognition |
US11443165B2 (en) * | 2018-10-18 | 2022-09-13 | Deepnorth Inc. | Foreground attentive feature learning for person re-identification |
US10504027B1 (en) * | 2018-10-26 | 2019-12-10 | StradVision, Inc. | CNN-based learning method, learning device for selecting useful training data and test method, test device using the same |
US11055874B2 (en) * | 2018-10-30 | 2021-07-06 | Ncr Corporation | Image processing for tracking actions of individuals |
TWI686748B (zh) * | 2018-12-07 | 2020-03-01 | 國立交通大學 | 人流分析系統及人流分析方法 |
EP3797512A1 (en) * | 2018-12-18 | 2021-03-31 | Rovi Guides, Inc. | Systems and methods for automated tracking using a client device |
WO2020131037A1 (en) * | 2018-12-18 | 2020-06-25 | Rovi Guides, Inc. | Systems and methods for automated tracking on a handheld device using a remote camera |
US10769915B2 (en) * | 2018-12-31 | 2020-09-08 | TCL Research America Inc. | Privacy preserving camera |
US11812131B2 (en) * | 2019-01-17 | 2023-11-07 | Nec Corporation | Determination of appropriate image suitable for feature extraction of object from among captured images in which object is detected |
WO2020157885A1 (ja) * | 2019-01-31 | 2020-08-06 | 日本電気株式会社 | データストリーム割り当て方法、システムおよびプログラム |
KR102246408B1 (ko) * | 2019-02-14 | 2021-05-18 | 엔에이치엔 주식회사 | 딥러닝 기반 유사상품 제공방법 |
KR102391817B1 (ko) * | 2019-02-18 | 2022-04-29 | 주식회사 아이도트 | 딥 러닝 시스템 |
US10915786B2 (en) * | 2019-02-28 | 2021-02-09 | Sap Se | Object detection and candidate filtering system |
EP3912089A4 (en) * | 2019-02-28 | 2022-12-07 | Stats Llc | SYSTEM AND METHOD FOR RE-IDENTIFYING PLAYERS IN BROADCAST VIDEO |
US20200342291A1 (en) * | 2019-04-23 | 2020-10-29 | Apical Limited | Neural network processing |
US11195172B2 (en) | 2019-07-24 | 2021-12-07 | Capital One Services, Llc | Training a neural network model for recognizing handwritten signatures based on different cursive fonts and transformations |
US11586682B2 (en) | 2019-07-30 | 2023-02-21 | Motorola Solutions, Inc. | Method and system for enhancing a VMS by intelligently employing access control information therein |
US20210049500A1 (en) * | 2019-08-15 | 2021-02-18 | Oath Inc. | Model training framework |
WO2021072645A1 (en) * | 2019-10-15 | 2021-04-22 | Motorola Solutions, Inc. | Video analytics conflict detection and mitigation |
CN112714349B (zh) * | 2019-10-24 | 2023-06-27 | 阿里巴巴集团控股有限公司 | 数据处理方法、商品展示方法和视频播放方法 |
US11238314B2 (en) * | 2019-11-15 | 2022-02-01 | Salesforce.Com, Inc. | Image augmentation and object detection |
US11216666B2 (en) * | 2019-12-11 | 2022-01-04 | Fujifilm Business Innovation Corp. | Understanding normality of an environment using semantic information from images |
FR3104774B1 (fr) * | 2019-12-11 | 2022-01-07 | Bull Sas | Procédé de suivi d’un élément, dispositif électronique et produit programme d’ordinateur associés |
US20210200826A1 (en) * | 2019-12-26 | 2021-07-01 | Motorola Solutions, Inc. | Appearance search for incident response |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
CN111353585A (zh) * | 2020-02-25 | 2020-06-30 | 北京百度网讯科技有限公司 | 神经网络模型的结构搜索方法和装置 |
KR102462733B1 (ko) * | 2020-03-03 | 2022-11-04 | 한국과학기술연구원 | 샴 네트워크를 활용하는 강인한 다중 객체 검출 장치 및 방법 |
CN111782633B (zh) * | 2020-06-29 | 2024-04-30 | 北京百度网讯科技有限公司 | 数据处理方法、装置及电子设备 |
US11443510B2 (en) | 2020-08-03 | 2022-09-13 | Motorola Solutions, Inc. | Method, system and computer program product that provides virtual assistance in facilitating visual comparison |
CN114079820A (zh) * | 2020-08-19 | 2022-02-22 | 安霸国际有限合伙企业 | 在摄像机设备上借助于神经网络输入的以感兴趣的事件/对象为中心的间隔拍摄视频生成 |
KR102253989B1 (ko) * | 2020-08-19 | 2021-05-20 | 이노뎁 주식회사 | 딥러닝 객체 검출기를 이용한 cctv 영상의 객체 추적 방법 |
KR102375509B1 (ko) * | 2020-09-07 | 2022-03-17 | 주식회사 한글과컴퓨터 | 복수의 포맷 변환 서버들에 문서의 포맷 변환을 위한 작업 할당을 수행하는 문서 파일의 포맷 변환 작업 할당 장치 및 그 동작 방법 |
TWI812888B (zh) * | 2020-10-14 | 2023-08-21 | 財團法人工業技術研究院 | 影像辨識方法及影像辨識系統 |
CN112040325B (zh) * | 2020-11-02 | 2021-01-29 | 成都睿沿科技有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
CN112330711B (zh) * | 2020-11-26 | 2023-12-05 | 北京奇艺世纪科技有限公司 | 模型生成方法、信息提取方法、装置及电子设备 |
US11509832B2 (en) | 2020-12-01 | 2022-11-22 | Western Digital Technologies, Inc. | Low light surveillance system with dual video streams |
BR112023011476A2 (pt) | 2020-12-15 | 2024-02-06 | Selex Es Inc | Sistemas e métodos para rastreamento de assinaturas eletrônicas |
US20220188547A1 (en) * | 2020-12-16 | 2022-06-16 | Here Global B.V. | Method, apparatus, and computer program product for identifying objects of interest within an image captured by a relocatable image capture device |
US11900662B2 (en) | 2020-12-16 | 2024-02-13 | Here Global B.V. | Method, apparatus, and computer program product for training a signature encoding module and a query processing module to identify objects of interest within an image utilizing digital signatures |
US11587253B2 (en) | 2020-12-23 | 2023-02-21 | Here Global B.V. | Method, apparatus, and computer program product for displaying virtual graphical data based on digital signatures |
US11830103B2 (en) | 2020-12-23 | 2023-11-28 | Here Global B.V. | Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data |
US11829192B2 (en) | 2020-12-23 | 2023-11-28 | Here Global B.V. | Method, apparatus, and computer program product for change detection based on digital signatures |
EP4268473A4 (en) * | 2020-12-28 | 2024-05-22 | Samsung Electronics Co., Ltd. | SYSTEM AND METHOD FOR AUTOMATIC VIDEO RECONSTRUCTION WITH DYNAMIC POINT OF INTEREST |
CN112581544B (zh) * | 2020-12-30 | 2022-04-19 | 易思维(杭州)科技有限公司 | 基于参数优化的无公共视场相机标定方法 |
CN112818808B (zh) * | 2021-01-27 | 2024-01-19 | 南京大学 | 一种结合两个向量嵌入空间的高精度步态识别方法 |
US11496671B2 (en) | 2021-02-19 | 2022-11-08 | Western Digital Technologies, Inc. | Surveillance video streams with embedded object data |
IL305407A (en) * | 2021-02-22 | 2023-10-01 | Briefcam Ltd | A method and system for visual analysis and evaluation of interaction with customers on the website |
EP4399694A2 (en) * | 2021-09-09 | 2024-07-17 | Selex ES Inc. | Systems and methods for electronic surveillance |
EP4148581B1 (en) | 2021-09-10 | 2023-08-30 | Axis AB | Verification of updated analytical procedures in monitoring systems |
EP4187505A1 (en) * | 2021-11-26 | 2023-05-31 | Cattle Eye Ltd | A method and system for the identification of animals |
US11991295B2 (en) | 2021-12-07 | 2024-05-21 | Here Global B.V. | Method, apparatus, and computer program product for identifying an object of interest within an image from a digital signature generated by a signature encoding module including a hypernetwork |
US12014447B2 (en) | 2022-02-17 | 2024-06-18 | Revieve Oy | Method and system for dynamic cropping of full body pose images |
US20240062529A1 (en) * | 2022-08-18 | 2024-02-22 | Microsoft Technology Licensing, Llc | Determining media documents embedded in other media documents |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005967A (ja) * | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 画像送信装置及びニューラルネットワーク |
JP2010073112A (ja) * | 2008-09-22 | 2010-04-02 | Omron Corp | 顔照合システム |
US20100124271A1 (en) * | 2008-11-18 | 2010-05-20 | Andrew Martz | Method, system and apparatus for image capture, analysis and transmission |
US20100157065A1 (en) * | 2008-12-22 | 2010-06-24 | Kunio Yata | Autofocus system |
US20140333775A1 (en) * | 2013-05-10 | 2014-11-13 | Robert Bosch Gmbh | System And Method For Object And Event Identification Using Multiple Cameras |
JP2015002553A (ja) * | 2013-06-18 | 2015-01-05 | キヤノン株式会社 | 情報処理システムおよびその制御方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7627171B2 (en) | 2003-07-03 | 2009-12-01 | Videoiq, Inc. | Methods and systems for detecting objects of interest in spatio-temporal signals |
US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
CN101622652B (zh) * | 2007-02-08 | 2012-03-21 | 行为识别系统公司 | 行为识别系统 |
US8170280B2 (en) * | 2007-12-03 | 2012-05-01 | Digital Smiths, Inc. | Integrated systems and methods for video-based object modeling, recognition, and tracking |
TWI489394B (zh) | 2008-03-03 | 2015-06-21 | Videoiq Inc | 用於追蹤、索引及搜尋之物件匹配 |
US8886206B2 (en) | 2009-05-01 | 2014-11-11 | Digimarc Corporation | Methods and systems for content processing |
US20130128050A1 (en) * | 2011-11-22 | 2013-05-23 | Farzin Aghdasi | Geographic map based control |
CN105210083B (zh) * | 2013-03-15 | 2019-05-21 | 霍罗杰克股份有限公司 | 用于查验和分析细胞学标本的系统和方法 |
EP2994883B1 (en) * | 2013-05-06 | 2018-12-12 | Hercules LLC | Device and method for analysis of coating additive performance |
CN105359186B (zh) * | 2013-06-04 | 2019-06-25 | 赫尔实验室有限公司 | 用于检测场景中的感兴趣的对象的系统、方法和存储介质 |
AU2013242830B2 (en) * | 2013-10-10 | 2016-11-24 | Canon Kabushiki Kaisha | A method for improving tracking in crowded situations using rival compensation |
US9646131B2 (en) * | 2014-06-27 | 2017-05-09 | Oracle International Corporation | Intelligent image processing for enterprise applications |
AU2014240213B2 (en) * | 2014-09-30 | 2016-12-08 | Canon Kabushiki Kaisha | System and Method for object re-identification |
-
2017
- 2017-12-05 CN CN201780085044.0A patent/CN110235138B/zh active Active
- 2017-12-05 CN CN202310980005.4A patent/CN117095349A/zh active Pending
- 2017-12-05 WO PCT/CA2017/051469 patent/WO2018102919A1/en active Application Filing
- 2017-12-05 JP JP2019529970A patent/JP2020503604A/ja not_active Withdrawn
- 2017-12-05 EP EP17877733.0A patent/EP3549063A4/en active Pending
- 2017-12-05 US US15/832,654 patent/US10726312B2/en active Active
- 2017-12-05 CA CA3077830A patent/CA3077830C/en active Active
- 2017-12-05 MX MX2019006588A patent/MX2019006588A/es unknown
- 2017-12-05 CA CA3000127A patent/CA3000127C/en active Active
- 2017-12-05 AU AU2017372905A patent/AU2017372905B2/en active Active
- 2017-12-05 KR KR1020197019166A patent/KR102560308B1/ko active IP Right Grant
-
2019
- 2019-06-05 IL IL267115A patent/IL267115B/en unknown
-
2020
- 2020-06-22 US US16/908,026 patent/US11113587B2/en active Active
-
2021
- 2021-10-20 JP JP2021171909A patent/JP7317919B2/ja active Active
-
2022
- 2022-10-13 AU AU2022252799A patent/AU2022252799B2/en active Active
-
2023
- 2023-07-19 JP JP2023117547A patent/JP2023145558A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005967A (ja) * | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 画像送信装置及びニューラルネットワーク |
JP2010073112A (ja) * | 2008-09-22 | 2010-04-02 | Omron Corp | 顔照合システム |
US20100124271A1 (en) * | 2008-11-18 | 2010-05-20 | Andrew Martz | Method, system and apparatus for image capture, analysis and transmission |
US20100157065A1 (en) * | 2008-12-22 | 2010-06-24 | Kunio Yata | Autofocus system |
US20140333775A1 (en) * | 2013-05-10 | 2014-11-13 | Robert Bosch Gmbh | System And Method For Object And Event Identification Using Multiple Cameras |
JP2015002553A (ja) * | 2013-06-18 | 2015-01-05 | キヤノン株式会社 | 情報処理システムおよびその制御方法 |
Non-Patent Citations (2)
Title |
---|
中村 優吾 外4名: "ローカル環境での効果的な動画像解析を実現する分散処理システムの提案", 情報処理学会研究報告 VOL. 2016-MBL-79 NO. 32, vol. Vol. 2016-MBL-79 No. 32, JPN6022046279, 19 May 2016 (2016-05-19), pages 1 - 7, ISSN: 0004910788 * |
白井良明,三浦純: "複雑背景における人の追跡", 情報処理学会論文誌 VOL 43 NO. SIG4(CVIM 4) コンピュータビジョンとイメージメディア, vol. Vol 43 No. SIG4(CVIM 4), JPN6022046280, 15 June 2002 (2002-06-15), pages 33 - 42, ISSN: 0004910789 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024090390A1 (ja) * | 2022-10-24 | 2024-05-02 | ソフトバンクグループ株式会社 | 情報処理装置、車両、情報処理方法、及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023145558A (ja) | 2023-10-11 |
IL267115B (en) | 2022-04-01 |
AU2022252799B2 (en) | 2023-09-28 |
AU2022252799A1 (en) | 2022-11-03 |
US20180157939A1 (en) | 2018-06-07 |
EP3549063A1 (en) | 2019-10-09 |
CA3000127A1 (en) | 2018-06-05 |
IL267115A (en) | 2019-08-29 |
CA3077830C (en) | 2023-03-07 |
US10726312B2 (en) | 2020-07-28 |
JP2020503604A (ja) | 2020-01-30 |
CN110235138B (zh) | 2023-09-05 |
KR20190099443A (ko) | 2019-08-27 |
CN117095349A (zh) | 2023-11-21 |
MX2019006588A (es) | 2019-10-09 |
AU2017372905B2 (en) | 2022-08-11 |
CN110235138A (zh) | 2019-09-13 |
US11113587B2 (en) | 2021-09-07 |
JP7317919B2 (ja) | 2023-07-31 |
WO2018102919A1 (en) | 2018-06-14 |
EP3549063A4 (en) | 2020-06-24 |
AU2017372905A1 (en) | 2019-07-04 |
CA3077830A1 (en) | 2018-06-05 |
US20200320356A1 (en) | 2020-10-08 |
KR102560308B1 (ko) | 2023-07-27 |
CA3000127C (en) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7317919B2 (ja) | 外観検索のシステムおよび方法 | |
US10628683B2 (en) | System and method for CNN layer sharing | |
US10846554B2 (en) | Hash-based appearance search | |
TWI759286B (zh) | 用於藉由機器學習訓練物件分類器之系統及方法 | |
US11023707B2 (en) | System and method for selecting a part of a video image for a face detection operation | |
Serrano Gracia et al. | Fast fight detection | |
KR20230013243A (ko) | 프레임에서 타겟 오브젝트를 위한 고정된 크기 유지 | |
Lin et al. | Visual-attention-based background modeling for detecting infrequently moving objects | |
US20200145623A1 (en) | Method and System for Initiating a Video Stream | |
JP2013206458A (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
CA3011713A1 (en) | Hash-based appearance search | |
Ji et al. | News videos anchor person detection by shot clustering | |
AU2019303730B2 (en) | Hash-based appearance search | |
JP2016207106A (ja) | 物体検出における誤検出低減方法および装置 | |
Henderson et al. | Feature correspondence in low quality CCTV videos | |
Kumar et al. | Automated panning of video devices | |
Strat et al. | Bags of Trajectory Words for video indexing | |
Chin et al. | Boosting descriptors condensed from video sequences for place recognition | |
Alex et al. | Optimisation of Feature Space for People Detection from TopView on Light Embedded Platform | |
Azouji et al. | Highlighting Important Video Segments for Human Action Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211118 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7317919 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |