JP2021504855A - ビデオ特徴の抽出方法および装置 - Google Patents
ビデオ特徴の抽出方法および装置 Download PDFInfo
- Publication number
- JP2021504855A JP2021504855A JP2020545849A JP2020545849A JP2021504855A JP 2021504855 A JP2021504855 A JP 2021504855A JP 2020545849 A JP2020545849 A JP 2020545849A JP 2020545849 A JP2020545849 A JP 2020545849A JP 2021504855 A JP2021504855 A JP 2021504855A
- Authority
- JP
- Japan
- Prior art keywords
- video
- matrix
- image
- features
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
Description
本願は、2018年3月29日に提出された中国特許出願第201810271774.6の優先権を主張するものであり、当該出願の内容は全て本文に取り込まれる。
なお、ステップ(d)では、各のブロックの設定する際に、行列の第1の行列次元と第2の行列次元が段階的に削減することに適合するよう、行列の大きさに応じて相応の態様を採用してブロックを設ける。
ビデオ対象からフレームを抽出して、一つ以上のフレーム画像を取得するためのフレーム抽出モジュール110と、
各フレーム画像に対し、最大プーリング化、最小プーリング化、平均プーリング化からなる複数種のプーリング化を段階的に実行して、該フレーム画像の画像特徴を取得するための画像特徴決定モジュール120と、
該一つ以上のフレーム画像に対応する複数画像特徴に基づいてビデオ特徴を決定するためのビデオ特徴決定モジュール130と、を備える。
前記の本開示の例のビデオ特徴の抽出装置のフレーム抽出モジュール110、画像特徴決定モジュール120、ビデオ特徴決定モジュール130を備え、2値化モジュールを備えてもよく、前記の本開示の例のビデオ特徴の抽出方法のステップに従ってビデオ対象のビデオ特徴を抽出するためのビデオ特徴抽出モジュール201と、
ビデオ特徴をビデオ特徴データベースに記憶するためのビデオ特徴記憶モジュール202と、
各ビデオ対象のビデオ特徴を記憶するためのビデオ特徴データベース203と、を備える。
110 フレーム抽出モジュール
120 画像特徴決定モジュール
130 ビデオ特徴決定モジュール
200 ビデオ特徴データベースの構築装置
201 ビデオ特徴抽出モジュール
202 ビデオ特徴記憶モジュール
203 ビデオ特徴データベース
300 ビデオ特徴抽出ハードウェア装置
301 メモリ
302 プロセッサ
400 コンピュータ可読記憶媒体
401 非一時的なコンピュータ可読命令
1110 無線通信ユニット
1120 A/V入力ユニット
1130 ユーザー入力ユニット
1140 検知ユニット
1150 出力ユニット
1160 メモリ
1170 インタフェースユニット
1180 コントローラ
1190 電源ユニット
Claims (13)
- ビデオ特徴の抽出方法であって、
ビデオ対象からフレームを抽出して、一つ以上のフレーム画像を取得するステップと、
各フレーム画像に対し、最大プーリング化、最小プーリング化、平均プーリング化からなる複数種のプーリング化を段階的に実行して、該フレーム画像の画像特徴を取得するステップと、
前記の一つ以上のフレーム画像に対応する複数の画像特徴に基づいて、前記のビデオ対象のビデオ特徴を決定するステップと、
を含むビデオ特徴の抽出方法。 - 請求項1に記載されたビデオ特徴の抽出方法において、
各前記フレーム画像に対し複数種のプーリング化を段階的に実行することは、
前記フレーム画像の複数の色チャネルに応じて、前記複数種のプーリング化を段階的に実行すること、を含む。 - 請求項1に記載されたビデオ特徴の抽出方法において、
各前記フレーム画像に対し複数種のプーリング化を段階的に実行して前記フレーム画像の画像特徴を取得することは、
前記フレーム画像に基づいて行列を決定して、前記複数種のプーリング化によって、1点のみを含む行列に縮小するまで、段階的に小さな行列を生成して、前記1点のみを含む行列に基づいて画像特徴を決定すること、を含む。 - 請求項3に記載されたビデオ特徴の抽出方法において、
前記フレーム画像に基づいて1つの行列を決定して、前記複数種のプーリング化によって、1点のみを含む行列に縮小するまで、段階的に小さな行列を生成して、前記1点のみを含む行列に基づいて画像特徴を決定するステップは、以下のステップ(a)、(b)、(c)及び(d)を含み、
ステップ(a)では、1つの前記フレーム画像に基づいて、第1の行列次元と第2の行列次元を含有する一つの第1行列を決定して、前記第1行列における点が前記フレーム画像における画素に対応しており、前記第1行列における点の値が第1ベクトルとなり、前記第1ベクトルが、3次元のベクトルとなり、対応する画素の三つ色チャネルの輝度を表し、
ステップ(b)では、前記第1行列において複数の第1ブロックを設け、各前記第1ブロックには複数の前記第1ベクトルが含まれ、第1の行列次元における前記複数の第1ブロックの数が、第1の行列次元における前記第1行列に含まれた点の数よりも少なく、且つ、第2の行列次元における前記複数の第1ブロックの数が、第2の行列次元における前記第1行列に含まれた点の数よりも少なく、各前記第1ブロックについて、前記第1ブロックに含まれた複数の前記第1ベクトルの各次元の最大値、最小値、平均値をそれぞれ算出して、9次元の第2ベクトルを取得し、
ステップ(c)では、前記複数の第1ブロックに対応された前記第2ベクトルに基づいて、第2行列を決定して、前記第2行列における点が前記第1ブロックに対応し、前記第2行列における点の値が前記第2ベクトルとなり、
ステップ(d)では、前記第1行列を、値が3N次元ベクトル(Nは正の整数である)となる点に縮小されるまで、ステップ(b)とステップ(c)を繰り返して、前記3N次元ベクトルを前記フレーム画像の画像特徴として決定する。 - 請求項1に記載されたビデオ特徴の抽出方法において、
前記の一つ以上のフレーム画像の前記画像特徴に基づいてビデオ特徴を決定するステップは、
前記画像特徴に対して2値化処理を実行し、2値化画像特徴を取得するステップ、
前記の一つ以上のフレーム画像の前記2値化画像特徴に基づいてビデオ特徴を決定するステップ、を含む。 - 請求項5に記載されたビデオ特徴の抽出方法において、
前記画像特徴に対して2値化処理を実行して2値化画像特徴を取得するステップは、
前記画像特徴に基づいて複数のグループを生成し、各前記グループが前記画像特徴における複数の元素を含有するステップと、
各前記グループにおける前記複数の元素をそれぞれ合計して、各前記グループの加算値を取得するステップと、
前記複数のグループを二つずつペアリングして、複数のグループペアを取得するステップと、
各前記グループについて、前記グループペアのうち二つ前記グループの前記加算値の大きさを比較して、比較結果に基づいて一つの2値化の画像特徴ビットを生成するステップと、
前記複数のグループペアの前記画像特徴ビットに基づいて、前記フレーム画像の2値化画像特徴を決定するステップと、を含む。 - ビデオ特徴データベースの構築方法であって、
請求項1ないし6のいずれかに記載されたビデオ特徴の抽出方法に従って、ビデオ対象のビデオ特徴を抽出するステップと、
前記ビデオ特徴をビデオ特徴データベースに記憶するステップと、
を含むビデオ特徴データベースの構築方法。 - ビデオ特徴の抽出装置であって、
ビデオ対象からフレームを抽出して、一つ以上のフレーム画像を取得するためのフレーム抽出モジュールと、
各フレーム画像に対して、最大プーリング化、最小プーリング化、平均プーリング化からなる複数種のプーリング化を段階的に実行して、前記フレーム画像の画像特徴を取得するための画像特徴決定モジュールと、
前記一つ以上のフレーム画像の前記画像特徴に基づいてビデオ特徴を決定するためのビデオ特徴決定モジュールと、
を備えるビデオ特徴の抽出装置。 - 請求項8に記載されたビデオ特徴の抽出装置は、
請求項2ないし6のいずれかに記載されたステップを実行するモジュールを備える。 - ビデオ特徴データベースの構築装置であって、
請求項1ないし6のいずれかに記載されたビデオ特徴の抽出方法に従ってビデオ対象のビデオ特徴を抽出するためのビデオ特徴抽出モジュールと、
前記ビデオ特徴をビデオ特徴データベースに記憶するためのビデオ特徴記憶モジュールと、
前記ビデオ特徴を記憶するためのビデオ特徴データベースと、
を備えるビデオ特徴データベースの構築装置。 - ビデオ特徴抽出ハードウェア装置であって、
非一時的なコンピュータ可読命令を記憶するためのメモリと、
請求項1ないし6のいずれかに記載されたビデオ特徴の抽出方法を実現するよう、前記コンピュータ可読命令を実行するためのプロセッサと、
を備えるビデオ特徴抽出ハードウェア装置。 - 請求項1ないし6のいずれかに記載されたビデオ特徴の抽出方法がコンピュータによって実行されるよう、非一時的なコンピュータ可読命令を記憶するためのコンピュータ可読記憶媒体。
- 請求項8または9に記載されたビデオ特徴の抽出装置を備える端末装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810271774.6 | 2018-03-29 | ||
CN201810271774.6A CN110321759B (zh) | 2018-03-29 | 2018-03-29 | 一种视频特征提取方法及装置 |
PCT/CN2018/125496 WO2019184520A1 (zh) | 2018-03-29 | 2018-12-29 | 一种视频特征提取方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021504855A true JP2021504855A (ja) | 2021-02-15 |
JP6982194B2 JP6982194B2 (ja) | 2021-12-17 |
Family
ID=68062443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545849A Active JP6982194B2 (ja) | 2018-03-29 | 2018-12-29 | ビデオ特徴の抽出方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11455802B2 (ja) |
JP (1) | JP6982194B2 (ja) |
CN (1) | CN110321759B (ja) |
SG (1) | SG11202008272RA (ja) |
WO (1) | WO2019184520A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807769B (zh) * | 2019-10-30 | 2021-12-14 | 腾讯科技(深圳)有限公司 | 图像显示控制方法及装置 |
CN111369472B (zh) * | 2020-03-12 | 2021-04-23 | 北京字节跳动网络技术有限公司 | 图像去雾方法、装置、电子设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015111339A (ja) * | 2013-12-06 | 2015-06-18 | 株式会社デンソーアイティーラボラトリ | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム |
JP2017174039A (ja) * | 2016-03-23 | 2017-09-28 | 富士フイルム株式会社 | 画像分類装置、方法およびプログラム |
JP2018017570A (ja) * | 2016-07-27 | 2018-02-01 | 日本システムウエア株式会社 | 岩盤強度判定装置、岩盤強度判定方法、及び岩盤強度判定プログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030007516A1 (en) * | 2001-07-06 | 2003-01-09 | Yuri Abramov | System and method for the application of a statistical multiplexing algorithm for video encoding |
US9396621B2 (en) * | 2012-03-23 | 2016-07-19 | International Business Machines Corporation | Systems and methods for false alarm reduction during event detection |
US9432702B2 (en) * | 2014-07-07 | 2016-08-30 | TCL Research America Inc. | System and method for video program recognition |
JP2018514844A (ja) | 2015-03-11 | 2018-06-07 | シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft | 細胞画像および映像の深層畳み込みネットワークベースの分類のためのシステムおよび方法 |
US10068138B2 (en) * | 2015-09-17 | 2018-09-04 | Canon Kabushiki Kaisha | Devices, systems, and methods for generating a temporal-adaptive representation for video-event classification |
CN105574215B (zh) | 2016-03-04 | 2019-11-12 | 哈尔滨工业大学深圳研究生院 | 一种基于多层特征表示的实例级图像搜索方法 |
US10390082B2 (en) * | 2016-04-01 | 2019-08-20 | Oath Inc. | Computerized system and method for automatically detecting and rendering highlights from streaming videos |
BR102016007265B1 (pt) * | 2016-04-01 | 2022-11-16 | Samsung Eletrônica da Amazônia Ltda. | Método multimodal e em tempo real para filtragem de conteúdo sensível |
US10803318B1 (en) * | 2016-05-18 | 2020-10-13 | Educational Testing Service | Automated scoring of video clips using extracted physiological features |
US10681391B2 (en) * | 2016-07-13 | 2020-06-09 | Oath Inc. | Computerized system and method for automatic highlight detection from live streaming media and rendering within a specialized media player |
CN106295605A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 红绿灯检测与识别方法 |
CN106649663B (zh) * | 2016-12-14 | 2018-10-16 | 大连理工大学 | 一种基于紧凑视频表征的视频拷贝检测方法 |
CN107169415B (zh) * | 2017-04-13 | 2019-10-11 | 西安电子科技大学 | 基于卷积神经网络特征编码的人体动作识别方法 |
CN107092960A (zh) | 2017-04-17 | 2017-08-25 | 中国民航大学 | 一种改进的并行通道卷积神经网络训练方法 |
CN107247949B (zh) | 2017-08-02 | 2020-06-19 | 智慧眼科技股份有限公司 | 基于深度学习的人脸识别方法、装置和电子设备 |
CN107491748B (zh) * | 2017-08-09 | 2018-10-02 | 电子科技大学 | 一种基于视频的目标车辆提取方法 |
CN107564009B (zh) | 2017-08-30 | 2021-02-05 | 电子科技大学 | 基于深度卷积神经网络的室外场景多目标分割方法 |
CN107844766A (zh) | 2017-10-31 | 2018-03-27 | 北京小米移动软件有限公司 | 人脸图像模糊度的获取方法、装置和设备 |
US10552671B2 (en) * | 2017-11-22 | 2020-02-04 | King Fahd University Of Petroleum And Minerals | Multi-kernel fuzzy local Gabor feature extraction method for automatic gait recognition |
CN110324660B (zh) * | 2018-03-29 | 2021-01-19 | 北京字节跳动网络技术有限公司 | 一种重复视频的判断方法及装置 |
US20200258616A1 (en) * | 2019-02-07 | 2020-08-13 | The Regents Of The University Of Michigan | Automated identification and grading of intraoperative quality |
-
2018
- 2018-03-29 CN CN201810271774.6A patent/CN110321759B/zh active Active
- 2018-12-29 JP JP2020545849A patent/JP6982194B2/ja active Active
- 2018-12-29 US US16/971,760 patent/US11455802B2/en active Active
- 2018-12-29 WO PCT/CN2018/125496 patent/WO2019184520A1/zh active Application Filing
- 2018-12-29 SG SG11202008272RA patent/SG11202008272RA/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015111339A (ja) * | 2013-12-06 | 2015-06-18 | 株式会社デンソーアイティーラボラトリ | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム |
JP2017174039A (ja) * | 2016-03-23 | 2017-09-28 | 富士フイルム株式会社 | 画像分類装置、方法およびプログラム |
JP2018017570A (ja) * | 2016-07-27 | 2018-02-01 | 日本システムウエア株式会社 | 岩盤強度判定装置、岩盤強度判定方法、及び岩盤強度判定プログラム |
Non-Patent Citations (3)
Title |
---|
加藤 直樹 他: "Convolutional Neural Networksによる距離学習を用いた動画像人物再同定", 第23回 画像センシングシンポジウム SSII2017, JPN6021026459, 7 June 2017 (2017-06-07), JP, ISSN: 0004549693 * |
安倍 満 他: "対応点探索のための特徴量表現", 電子情報通信学会技術研究報告, vol. 115, no. 388, JPN6021026461, 14 December 2015 (2015-12-14), ISSN: 0004549694 * |
岡谷 貴之: "ディープラーニングと画像認識 −基礎と最近の動向−", 経営の科学 オペレーションズ・リサーチ, vol. 第60巻 第4号, JPN6021026462, 1 April 2015 (2015-04-01), JP, ISSN: 0004549695 * |
Also Published As
Publication number | Publication date |
---|---|
SG11202008272RA (en) | 2020-09-29 |
US20210089785A1 (en) | 2021-03-25 |
CN110321759A (zh) | 2019-10-11 |
JP6982194B2 (ja) | 2021-12-17 |
CN110321759B (zh) | 2020-07-07 |
WO2019184520A1 (zh) | 2019-10-03 |
US11455802B2 (en) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7000468B2 (ja) | 重複ビデオの判定方法及び装置 | |
US8644620B1 (en) | Processing of matching regions in a stream of screen images | |
US10455229B2 (en) | Prediction mode selection method, apparatus and device | |
US20200074646A1 (en) | Method for obtaining image tracking points and device and storage medium thereof | |
CN108762505B (zh) | 基于手势的虚拟对象控制方法、装置、存储介质和设备 | |
US9076221B2 (en) | Removing an object from an image | |
JP2017529620A (ja) | 姿勢推定のシステムおよび方法 | |
CN110139149B (zh) | 一种视频优化的方法、装置、电子设备 | |
JP7209044B2 (ja) | ビデオにおけるキーロゴの認識方法、装置、設備、記憶媒体、及びプログラム | |
JP6982194B2 (ja) | ビデオ特徴の抽出方法および装置 | |
CN111666442B (zh) | 一种图像检索方法、装置及计算机设备 | |
KR20130115341A (ko) | 제스쳐 인식 메커니즘을 제공하는 방법 및 장치 | |
CN111192190A (zh) | 消除图像水印的方法、装置及电子设备 | |
CN111428740A (zh) | 网络翻拍照片的检测方法、装置、计算机设备及存储介质 | |
CN110968375B (zh) | 界面控制方法、装置、智能终端及计算机可读存储介质 | |
US20190228252A1 (en) | Image data retrieving method and image data retrieving device | |
CN113486638A (zh) | 表格的重构方法和装置、存储介质及电子装置 | |
JP2014099848A (ja) | イメージ分割システム及びその方法 | |
JP7007474B2 (ja) | ビデオ特徴抽出方法及び装置 | |
JP6892557B2 (ja) | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム | |
US11321832B2 (en) | Image analysis device | |
JP6482452B2 (ja) | 画面遷移特定装置、画面遷移特定システム及び画面遷移特定方法 | |
JP2020119001A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN112053277B (zh) | 一种图像换肤的方法、装置、设备及存储介质 | |
CN110941589A (zh) | 一种图片导出方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200521 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6982194 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |