JP2022552888A - フェイクビデオの検出 - Google Patents
フェイクビデオの検出 Download PDFInfo
- Publication number
- JP2022552888A JP2022552888A JP2022523639A JP2022523639A JP2022552888A JP 2022552888 A JP2022552888 A JP 2022552888A JP 2022523639 A JP2022523639 A JP 2022523639A JP 2022523639 A JP2022523639 A JP 2022523639A JP 2022552888 A JP2022552888 A JP 2022552888A
- Authority
- JP
- Japan
- Prior art keywords
- image
- irregularities
- video
- feature vector
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 27
- 238000001228 spectrum Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 229910003460 diamond Inorganic materials 0.000 description 5
- 239000010432 diamond Substances 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010237 hybrid technique Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Social Psychology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (21)
- システムであって、
画像を受信し、前記画像内の顔の、または前記画像の前記顔と背景との間の、または両方の少なくとも1つのテクスチャの不規則性が前記画像に存在するかどうかを判断するための少なくとも顔検出モジュールと、
前記画像を受信するための少なくとも第1のニューラルネットワークと、
前記画像を受信し、少なくとも第2のニューラルネットワークにスペクトルを出力するための少なくとも1つの離散フーリエ変換(DFT)と、
前記顔検出モジュール、前記第1のニューラルネットワーク、及び前記第2のニューラルネットワークによって出力された特徴にアクセスして、前記画像が元の画像から改変されているかどうかを判断し、それを表す出力を提供するための少なくとも検出モジュールと
を備える、システム。 - 前記テクスチャの不規則性がチェッカーボードパターンを含む、請求項1に記載のシステム。
- 前記検出モジュールが、前記スペクトルの少なくとも1つの不規則性を検出することによって、前記画像が少なくとも部分的に元の画像から改変されていると判断する、請求項1に記載のシステム。
- 前記スペクトルの前記不規則性が、前記元の画像の対応する領域よりも明るい明るさの少なくとも1つの領域を含む、請求項3に記載のシステム。
- 前記明るさの領域が、周波数領域内の前記画像の周辺に沿って位置する、請求項4に記載のシステム。
- 前記スペクトルの前記不規則性が複数の明るさの領域を含む、請求項3に記載のシステム。
- 前記複数の明るさの領域が、周波数領域内の前記画像の周辺に沿って位置する、請求項6に記載のシステム。
- 前記顔検出モジュールが、前記画像が前記元の画像から改変されていることを示す、前記画像内の顔の照明の不規則性を示す特徴ベクトルを出力するために構成される、請求項1に記載のシステム。
- 方法であって、
画像内の顔の少なくとも1つの照明の不規則性、または前記画像内の少なくとも1つのテクスチャの不規則性、または両方を示す特徴ベクトルを出力するために、前記顔検出モジュールを介して前記画像を処理することと、
周波数領域内の前記画像の少なくとも1つの不規則性を示す特徴ベクトルを出力するために、少なくとも1つの離散フーリエ変換(DFT)及び少なくとも1つニューラルネットワークを介して前記画像を処理することと、
前記特徴ベクトルに基づいて、前記画像が少なくとも部分的に元の画像から改変されている旨の表示を返すことと
を含む、方法。 - 前記テクスチャの不規則性が、前記画像内の顔のテクスチャの不規則性、または前記画像の前記顔と背景との間のテクスチャの不規則性、または両方を含む、請求項9に記載のシステム。
- 前記テクスチャの不規則性がチェッカーボードパターンを含む、請求項9に記載の方法。
- 前記周波数領域内の前記画像の前記不規則性が、前記元の画像の対応する領域よりも明るい少なくとも1つの明るさの領域を含む、請求項9に記載の方法。
- 前記明るさの領域が、前記周波数領域内の前記画像の周辺に沿って位置する、請求項12に記載の方法。
- 前記周波数領域の前記不規則性が複数の明るさの領域を含む、請求項9に記載の方法。
- 前記複数の明るさの領域が、周波数領域内の前記画像の周辺に沿って位置する、請求項14に記載の方法。
- 前記画像が前記元の画像から改変されていることを示す、前記画像内の顔の照明の不規則性を示す特徴ベクトルを出力することを含む、請求項9に記載の方法。
- システムであって、
ビデオフレームのシーケンスを受信し、前記ビデオフレームに示される人の顔の動きが自然な動きを示すかどうかを表す特徴ベクトルを出力するための少なくとも受信モジュールと、
前記ビデオフレームのシーケンスの画像がビデオフレームの元のシーケンスの画像から改変されているかどうかを判断するために、前記受信モジュールによって出力される特徴ベクトルにアクセスするための、及びそれを表す出力を提供するための少なくとも検出モジュールと
を備える、システム。 - 前記ビデオフレームのシーケンスに示される前記人の顔の前記動きが、前記人が話している間の動きを含む、請求項17に記載のシステム。
- 前記ビデオフレームのシーケンスに示される前記人の顔の前記動きが、前記人の唇の動きを含む、請求項17に記載のシステム。
- 前記ビデオフレームのシーケンスに関連する音声を受信するために構成され、スペクトルを出力するために構成された少なくとも1つの周波数変換と、
前記スペクトルを受信し、前記音声を表す音声特徴ベクトルを出力するために構成された少なくとも1つのニューラルネットワークと、
前記音声特徴ベクトルを受信し、それに基づいて、前記音声が元の音声から改変されていることに関する表示を出力するために構成された、自然な人間の発話特性を学習するようにトレーニングされた少なくとも1つの分析モジュールと
をさらに備える、請求項17に記載のシステム。 - 少なくとも1つの音声特徴ベクトルが、ケーデンス、ピッチパターン、トーンパターン、強調の少なくとも1つを表す、請求項20に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/659,041 US20210117690A1 (en) | 2019-10-21 | 2019-10-21 | Fake video detection using video sequencing |
US16/658,980 | 2019-10-21 | ||
US16/659,041 | 2019-10-21 | ||
US16/658,980 US11551474B2 (en) | 2019-10-21 | 2019-10-21 | Fake video detection |
PCT/US2020/055349 WO2021080815A1 (en) | 2019-10-21 | 2020-10-13 | Fake video detection |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022552888A true JP2022552888A (ja) | 2022-12-20 |
Family
ID=75620794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022523639A Pending JP2022552888A (ja) | 2019-10-21 | 2020-10-13 | フェイクビデオの検出 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4049174A4 (ja) |
JP (1) | JP2022552888A (ja) |
CN (1) | CN114600174A (ja) |
WO (1) | WO2021080815A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673465A (zh) * | 2021-08-27 | 2021-11-19 | 中国信息安全测评中心 | 图像检测方法、装置、设备及可读存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180307815A1 (en) * | 2017-04-19 | 2018-10-25 | Qualcomm Incorporated | Systems and methods for facial authentication |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9396382B2 (en) * | 2012-08-17 | 2016-07-19 | Flashscan3D, Llc | System and method for a biometric image sensor with spoofing detection |
WO2016090379A2 (en) | 2014-12-05 | 2016-06-09 | Texas State University | Detection of print-based spoofing attacks |
KR102483642B1 (ko) * | 2016-08-23 | 2023-01-02 | 삼성전자주식회사 | 라이브니스 검사 방법 및 장치 |
US10692502B2 (en) * | 2017-03-03 | 2020-06-23 | Pindrop Security, Inc. | Method and apparatus for detecting spoofing conditions |
CN110059546A (zh) | 2019-03-08 | 2019-07-26 | 深圳神目信息技术有限公司 | 基于频谱分析的活体识别方法、装置、终端及可读介质 |
-
2020
- 2020-10-13 WO PCT/US2020/055349 patent/WO2021080815A1/en unknown
- 2020-10-13 CN CN202080073987.3A patent/CN114600174A/zh active Pending
- 2020-10-13 EP EP20880054.0A patent/EP4049174A4/en active Pending
- 2020-10-13 JP JP2022523639A patent/JP2022552888A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180307815A1 (en) * | 2017-04-19 | 2018-10-25 | Qualcomm Incorporated | Systems and methods for facial authentication |
Non-Patent Citations (1)
Title |
---|
SHANMUKHAPPA A. ANGADI ET AL.: "Detection of Face Spoofing using Multiple Texture Descriptors", 2018 INTERNATIONAL CONFERENCE ON COMPUTATIONAL TECHNIQUES, ELECTRONICS AND MECHANICAL SYSTEMS (CTEMS, JPN6023020603, 21 December 2018 (2018-12-21), pages 151 - 156, XP033580775, ISSN: 0005065048, DOI: 10.1109/CTEMS.2018.8769129 * |
Also Published As
Publication number | Publication date |
---|---|
EP4049174A1 (en) | 2022-08-31 |
CN114600174A (zh) | 2022-06-07 |
EP4049174A4 (en) | 2024-01-03 |
WO2021080815A1 (en) | 2021-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7467615B2 (ja) | ブロックチェーンを使用したフェイクビデオ検出 | |
US11551474B2 (en) | Fake video detection | |
US11281709B2 (en) | System and method for converting image data into a natural language description | |
US20190215482A1 (en) | Video Communication Using Subtractive Filtering | |
CA3114105A1 (en) | Techniques for generating media content | |
US20210117690A1 (en) | Fake video detection using video sequencing | |
JP2022552888A (ja) | フェイクビデオの検出 | |
CN114731457B (en) | Counterfeit video detection using blockchain | |
US11103794B2 (en) | Post-launch crowd-sourced game qa via tool enhanced spectator system | |
JP7125389B2 (ja) | エミュレーションによるリマスタリング | |
US20220180854A1 (en) | Sound effects based on footfall | |
JP6148785B1 (ja) | 情報処理システム、情報処理装置及びプログラム | |
US20240127390A1 (en) | Metadata watermarking for 'nested spectating' | |
TWI581626B (zh) | 影音自動處理系統及方法 | |
US11032340B2 (en) | Using camera on computer simulation controller | |
US20240056761A1 (en) | Three-dimensional (3d) sound rendering with multi-channel audio based on mono audio input | |
Pathak | Using Deep Learning for Encrypted Traffic Analysis of Amazon Echo | |
US20210034146A1 (en) | Eye tracking with recorded video confirmation of face image upon accepting terms | |
JP2018107787A (ja) | 情報処理システム、情報処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230718 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240131 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240208 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20240301 |