CN113269187A - 用于检测照片身份证件中照片替换的方法、系统和装置 - Google Patents

用于检测照片身份证件中照片替换的方法、系统和装置 Download PDF

Info

Publication number
CN113269187A
CN113269187A CN202110640101.5A CN202110640101A CN113269187A CN 113269187 A CN113269187 A CN 113269187A CN 202110640101 A CN202110640101 A CN 202110640101A CN 113269187 A CN113269187 A CN 113269187A
Authority
CN
China
Prior art keywords
photo
identity document
category
cropped
photograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110640101.5A
Other languages
English (en)
Inventor
黄江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ant Shield Co ltd
Original Assignee
Alipay Labs Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Labs Singapore Pte Ltd filed Critical Alipay Labs Singapore Pte Ltd
Publication of CN113269187A publication Critical patent/CN113269187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了计算机实现的用于检测照片身份证件中照片替换的方法、系统和装置，其包括编码在计算机存储介质上的计算机程序，用于实现用于检测照片身份证件中照片替换的方法。所述方法之一包括接收ID的裁剪照片区域的图像数据，并通过多类别分类模型基于所述裁剪照片区域的图像数据预测ID类别。所述ID包括照片，所述裁剪照片区域至少包括所述照片。预测的ID类别对应于多类别分类模型中的预定类别集中的一个类别。所述方法还包括将所述预测的ID类别与所述ID的指示类别进行比较，并且响应于所述预测的ID类别与所述ID的指示类别不匹配，确定所述裁剪照片区域包括替换照片。

Description

用于检测照片身份证件中照片替换的方法、系统和装置
技术领域
本文总体上但非排他地涉及用于检测照片身份证件中照片替换的方法和系统。
背景技术
电子化了解你的客户(eKYC)是由企业以电子方式执行的数字尽职调查流程，可以验证其客户的真实性，以评估对业务关系的非法意图的潜在风险。为了完成eKYC流程，个人可能需要提交政府认可的照片身份证件(ID)的图像以证明其身份。在这种情况下，如果欺诈者未经授权使用他人的个人信息进行诈骗或实施其他犯罪，就可能发生身份欺诈。
照片身份证件的最常见身份证件欺诈之一是使用另一个人的照片替换身份证件所有人的照片。迄今为止，人工智能(AI)技术已被用于检测此类身份证件欺诈。传统的检测身份证件中照片替换的方法是，通过训练二元分类模型并输出两个类别：真实ID和进行照片替换的虚假ID，将其作为一个二元分类任务。然而，训练模型所涉及的数据标记工作会相当耗时。给定一张卡片形式的身份证件，制作一张虚假身份证样本至少需要四个步骤：获得身份证、打印另一个人的照片、将打印好的照片放在身份证上覆盖原始照片、拍摄合成的假身份证图像并保存以备训练。为了获得高准确度的模型，至少需要数千个样本，这可能非常耗时，而且不能在短时间内完成。
发明内容
所描述的实施例提供了用于检测照片身份证件(ID)中的照片替换的方法、装置和系统。在一些实施例中，该方法可以基于ID的裁剪照片区域的样本训练多类别分类模型，每类别对应于ID的类别(例如，美国驾驶执照、新加坡国家注册身份证、中国内地护照等)。通过从ID的图像裁剪照片区域并将其保存为新图像，可以获得样本。在一些实施例中，裁剪照片区域还可以包括照片周围的一些背景，以全面地描述特定类别ID的照片区域的样式和特征。在一些实施例中，可以使用卷积神经网络(CNN)来训练分类模型。
在一些实施方式中，当接收到ID的图像时，可以从图像裁剪照片区域，并将其用作训练的多类别分类模型的输入。在一些实施方式中，可以通过首先预处理ID的图像以生成ID的对准图像，然后基于ID类别和对应于该ID类别的照片位置信息从对准图像裁剪照片区域来获得照片区域。然后，该模型基于裁剪照片区域预测ID类别。如果使用真实ID，则ID的预测类别应与所示的ID类别匹配。相反，如果使用带有替换照片的假ID，则ID的预测类别应不同于ID的指示类别，因为裁剪照片区域(包括替换照片)看起来不同于所指示的ID类别的裁剪照片区域。
根据一个实施例，提供了一种用于检测照片ID中的照片替换的方法。该方法包括：接收ID的裁剪照片区域的图像数据，其中所述ID包括照片，所述裁剪照片区域至少包括所述照片；通过多类别分类模型，基于所述裁剪照片区域的图像数据预测ID类别，其中，所述预测的ID类别对应于多类别分类模型中的预定类别集中的一个类别；将所述预测的ID类别与所述ID的指示类别进行比较；以及响应于所述预测的ID类别与所述ID的指示类别不匹配，确定所述裁剪照片区域包括替换照片。
在一些实施方式中，用户可以在eKYC流程中录入所述ID的指示类别，或者从ID类别列表中选择ID类别。可能的ID类别可包括一个或多个国家的国民身份证、护照、驾驶执照。相应地，多类别分类模型可以具有表示不同ID类别的预定类别集。在实施方式中，当接收到新ID的裁剪照片区域时，所述模型可以输出每个类别的得分，并且基于裁剪照片区域将具有最高得分的类别确定为ID类别。在一些实施方式中，可以为最高得分设置预定阈值(例如，95，满分100)，使得如果最高得分达到所述阈值，则作出没有替换照片的结论。
根据其他实施例，这些一般和特定实施例中的一个或多个可以使用包括多个模块的装置、系统、方法或计算机可读介质、或者设备、系统、方法和计算机可读介质的任何组合来实现。以上和其他所描述的实施例可以各自任选地包括以下一些或全部实施例，或者不包括以下实施例。
附图说明
实施例和实施方式仅通过示例的方式提供，并且本领域普通技术人员通过结合附图阅读以下书面描述将更好地理解和容易地明白这些实施例和实施方式，在附图中：
图1是示出根据实施例的用于检测照片身份证件(ID)中的照片替换的方法示例的流程图。
图2是示出根据实施例的图1中方法的实施方式的示例的流程图。
图3是根据实施例的身份证对准示例的示意图。
图4是根据实施例的用于检测照片ID中的照片替换的装置的模块示例的示意图。
图5是根据实施例的适于执行图1和图2所示示例方法的至少一些步骤的计算机系统示例的框图。
本领域技术人员将理解，附图中的要素为简单和清晰而被示出并且不一定按比例绘制。例如，图示、框图或流程图中的一些要素的尺寸可以相对于其他要素夸大，以帮助提升对本实施例的理解。
具体实施方式
参考附图仅以示例的方式对实施例进行描述。附图中相同的附图标记和字符表示相同的元件或等同物。
以下描述的某些部分是根据对计算机存储器内的数据进行操作的算法和功能或符号表示法来显性或隐性呈现的。这些算法描述和功能或符号表示法是数据处理领域的技术人员用来将其工作的实质最有效地传达给本领域其它技术人员的手段。这里，算法通常被认为是导致所需结果的自相一致的步骤序列。这些步骤是需要对能够被存储、传送、组合、比较以及以其它方式操控的诸如电、磁或光信号之类的物理量进行物理操控的步骤。
除非另有具体说明，并且从以下内容显见，否则应当理解，在整个本说明书中，利用诸如“接收”、“获得”、“确定”、“预测”、“计算”、“训练”、“匹配”、“生成”、“检测”、“分类”、“设置”、“限定”、“比较”、“处理”、“更新”、“进入”、“选择”、“认证”、“提供”、“输入”之类的术语进行的讨论是指计算机系统或类似电子设备对表示为计算机系统内的物理量的数据进行操控并转换为类似地表示为计算机系统内或其它信息存储、传输或显示设备内的物理量的其它数据的行为和处理。
本说明书还公开了用于执行方法的操作的装置。这样的装置可以具体构造为用于所需目的，或者可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的计算机或其它设备。本文提出的算法和显示器与任何特定的计算机或其它装置都不是固有相关的。根据本文的教导，各种机器都可以与程序一起使用。可替代地，用于执行所需方法步骤的更专门的装置的构造可能是合适的。以下描述中将出现适合于执行本文描述的各种方法/流程的计算机的结构。
另外，本说明书还隐含地公开了一种计算机程序，因为对于本领域技术人员而言明显的是，可以通过计算机代码来实施本文描述的方法的各个步骤。计算机程序不旨在限于任何特定的编程语言及其实施方式。应当理解，各种编程语言及其编码可以用于实现本文所包含的本说明书的教导。而且，计算机程序不旨在限于任何特定的控制流程。计算机程序还有许多其它变体，其可以使用不同的控制流程而不背离本文的范围。
此外，计算机程序的一个或多个步骤可以并行而不是顺序地执行。这样的计算机程序可以存储在任何计算机可读介质上。计算机可读介质可以包括诸如磁盘或光盘等存储设备、存储芯片、或适合与计算机接口的其它存储设备。计算机可读介质还可以包括诸如在因特网系统中例示的硬连线介质，或者诸如在GSM移动电话系统中例示的无线介质。计算机程序当加载在此类计算机上并在此类计算机上执行时，有效地实现了实施优选方法的步骤的装置。
本文也可以实现为硬件模块。更具体地，在硬件意义上，模块是设计用于与其他组件或模块一起使用的功能硬件单元。例如，模块可以使用分立的电子元件来实现，或者它可以形成整个电子电路(例如，专用集成电路(ASIC)或现场可编程门阵列(FPGA))的一部分。还有许多其他的可能性。本领域技术人员将理解，该系统还可实现为硬件和软件模块的组合。
验证身份证件真实性的行为或过程中的照片替换检测可被视为欺诈检测或虚假身份检测的一种形式，其中，在实施欺诈行为之前，验证用户的合法性并检测潜在的欺诈者。有效的身份认证可以通过只允许经认证的用户访问其受保护的资源来增强系统的数据安全性。实施例寻求提供用于检测照片ID中的照片替换的方法和系统，从而检测欺诈者上传的虚假ID图像。有利的是，可以有效地减少或消除洗钱和欺诈等金融风险。
本文中描述的技术产生一种或多种技术效果。提供了一种利用多类别分类模型检测照片ID的照片替换的方法。在实施方式中，多类别分类模型可以包括与各种ID类别相对应的预定类别组。与二元分类技术不同，二元分类技术将ID分为真实ID和虚假ID(即带有替换照片的ID)并涉及集中的数据标注工作，训练多类别分类模型不需要对真实/虚假ID进行数据标注。此外，多类别分类模型不需要虚假ID样本来训练，这有利地消除了为了实现高准确度而产生大量虚假ID样本的努力。
图1是示出检测照片ID中的照片替换的示例方法的流程图100，所述方法包括以下步骤：
-110：接收ID的裁剪照片区域的图像数据，其中，ID包括照片，裁剪照片区域至少包括所述照片；
-120：通过多类别分类模型，基于裁剪照片区域的图像数据预测ID类别，其中，预测的ID类别对应于多类别分类模型中的预定类别组之一；
-130：通过多类别分类模型，基于裁剪照片区域的图像数据预测ID类别；
-135：确定预测的ID类别是否与ID的指示类别匹配；以及
-150：响应于预测的ID类别与ID的指示类别不匹配，确定裁剪照片区域包括替换的照片。
在步骤110，接收到照片ID的裁剪照片区域的图像数据。照片ID可以是卡(例如，国家身份证或驾驶执照)、证件(例如，护照或出生证明)等形式。裁剪照片区域至少包括照片ID上的照片。在一些实施方式中，裁剪照片区域的面积可以大于照片的大小，从而额外包括照片周围的一些背景。有利地，在裁剪照片区域中可以包含特定类别ID的某些特征，所述特征能够很好地描述照片区域的样式，并在分类过程中提供有用的信息。这些特征可以包括照片区域中的颜色和图案、安全特征、照片的背景颜色等。根据ID的类别，一些ID还可在照片周围具有文本，例如，ID所有者的打印姓名、性别、出生日期、出生国、签发国或ID号码。一些ID可能在照片周围有图像，例如，ID所有者的签名、发行国的国徽或照片的较小版本。由于ID的特征和样式是独特的，而且很难伪造，裁剪照片区域中包括这些特征有助于有效地检测ID上的照片替换。
为了包括围绕照片的背景，在一些实施方式中，假设照片的高度为H且宽度为W，裁剪照片区域的高度可确定为H和RH*H之间，宽度可确定为W和RW*W之间(RH，RW>1)。例如，裁剪照片区域的高度可以为1.2*H，宽度为1.2*W。可以理解，只要照片包含在其中，RH和RW是可以相同或不同的预定比率。实施方式不受限制。
在步骤120，基于裁剪照片区域的图像数据，通过多类别分类模型预测ID类别。该模型可具有预定类别集，每个类别对应于ID的特定类别(例如，第1类-新加坡国家注册身份证，第15类-香港永久性身份证，第30类-美国驾驶执照，第55类-菲律宾国家身份证，第71类-澳大利亚护照，等等)。基于分类结果，预测的ID类别将是预定类之一。在一些实施方式中，基于裁剪照片区域的图像数据预测ID类别包括：将图像数据输入到多类别分类模型中并输出预定类别集中每个类别的得分。相应的得分可以反映出裁剪照片区域属于相应ID类别的概率。此后，得分最高的类别可以被确定为预测ID类别。可理解，这是预测ID类别的许多可能实施方式之一，并且是不受限制的。
在步骤130，将预测的ID类别与ID的指示类别进行比较。在一些实施方式中，用户可以在身份验证过程(例如，eKYC)期间录入或选择ID的指示类别。或者，身份验证系统可以指示给用户上传特定类别的ID，该类别将是ID的指示类别。在步骤135中对模型输出的预测ID类别和ID的指示类别进行比较。如果预测的ID类别与ID的指示类别不匹配，该方法进行到步骤150，并确定裁剪照片区域包括替换的照片。如果预测的ID类别与ID的指示类别匹配，则该方法可以进行到步骤160，并确定裁剪照片区域中的照片是照片ID上的真实照片。
可选地，在确定预测的ID类别与ID的指示类别匹配之后，在推断出裁剪照片区域中的照片是否已被替换之前，该方法可以包括附加步骤140和145。在一些实施方式中，附加步骤涉及相对于输出的得分预先确定阈值，并将最高得分与预定阈值进行比较。如果最高得分低于预定阈值，则该方法进行到步骤150并确定裁剪的照片区域包括替换的照片。如果最高得分等于或高于预定阈值，该方法可进行到步骤160并确定裁剪照片区域中的照片是照片ID上的真实照片。这些附加步骤140和145在使用了替换照片并且多类别分类模型输出所有类别的低得分的情况下是有利的(例如，≤40，满分100)，这意味着裁剪照片区域属于任何类别ID的概率都很低。在这种情况下，在步骤120仍将通过选择最高得分(例如，40)来预测ID类别，并且预测的ID类别有可能与ID的指示类别匹配。通过附加步骤，响应于预测的ID类别与ID的指示类别匹配，如果最高得分(例如，40)低于预设阈值(例如，95，满分100)，则该方法仍将进行到步骤150并确定裁剪的照片区域包括替换的照片。可以理解，通过设置和调节阈值可以减少照片替换检测中的误报。
本文还可以提供用于基于ID的裁剪照片区域的样本训练多类别分类模型的方法、装置和系统。假设提供了N个类别照片ID的裁剪照片区域的样本，则可以训练N个类别的分类模型，每个类别对应于每个类别照片ID。在一些实施例中，可以使用卷积神经网络(CNN)来训练分类模型，卷积神经网络是广泛用于分析视觉图像的深层神经网络之一。可以理解，多类别分类模型可以有效地训练和开发，而不需进行在二元分类任务中所需的任何数据标记。此外，在实现分类模型以检测接收到的ID的照片替换时，可以收集更多的裁剪照片区域的图像数据。可选地，用于训练分类模型的裁剪照片区域的样本可以通过包括所接收ID的新裁剪照片区域来更新，这可以增强未来的训练模型并提高准确度。
图2为示出图1中的方法实施方式的示例流程图200。流程图的左半部分指向训练多类别分类模型。在处理的开始，提供N类身份证的图像集。示出的示例为香港永久ID卡的图像210。裁剪照片区域215可以通过从图像210裁剪而获得。可以理解，裁剪照片区域215包括照片以及照片周围的一些背景。以类似的方式，可以从N类照片ID的图像集获得N种裁剪照片区域的样本。然后，训练分类模型以对N种照片区域进行分类。
经训练模型可被用于检测接收到的ID的照片替换。从接收到的ID的图像220获取裁剪照片区域225。在此情况下，接收到的ID是虚假香港ID，其包括来自菲律宾统一多用途ID卡的替换照片。通过将裁剪照片区域225输入到分类模型中，该模型将预测ID类别为菲律宾统一多用途ID，这与香港ID的指示类别不同。因此，确定接收到的ID是具有替换照片的虚假ID。
在实施方式中，接收到的ID的图像220可以经由网页或移动应用来上传。通过基于ID的指示类别和对应于指示类别的照片位置信息从ID的图像220裁剪照片区域225，可以获得裁剪照片区域225。例如，如果接收到的ID被指示为香港ID卡，并且在香港ID卡上照片区域可以在(0.10*h)→0.75*h，0.05*w→(0.35*w)，其中，(h，w)是ID卡的(高度，宽度)，则可以使用该照片位置信息来从香港ID卡的图像裁剪照片区域。
在一些实施方式中，获得裁剪照片区域还可以包括预处理ID的图像以生成ID的对准图像。图3是ID卡对准示例的示意图300。如图所示，接收包括ID卡310的图像302，并且在该图像中ID卡310是倾斜的。在下一步中，通过机器学习技术，例如CNN回归模型，可以检测ID卡310的四个角点。通过执行对准，可以生成对准的ID卡图像310A。然后，可以使用上述方法，通过基于特定ID类别的照片位置信息裁剪区域，获得裁剪照片区域。从照片ID裁剪照片区域的技术可用于接收的ID和用于训练模型的ID的图像集。
可理解，训练模型和使用模型进行照片替换检测可以是两个单独的过程，由同一方或不同方来执行。此外，可以单独或结合身份验证和身份验证的其他方法来实现照片替换检测方法。实施方式不受限制。
图4是示例装置400的示意图，包括用于检测照片ID中照片替换的模块。装置400至少包括接收模块410、分类模块420、比较模块430和确定模块440。参照图1和图2，接收模块410可以配置为接收ID的裁剪照片区域的图像数据，并接收关于用户录入/选择的ID的指示类别的信息。分类模块420可以配置为基于接收模块410接收到的裁剪照片区域的图像数据预测ID类别。比较模块430可配置为将预测的ID类别与ID的指示类别进行比较，并将与预测ID类别对应的得分与预定阈值进行比较。确定模块440可以配置为基于预测的ID类别是否匹配ID的指示类别以及基于得分是否高于预定阈值来确定裁剪照片区域是否包括替换照片。装置400还可包括训练模块，该训练模块配置为训练多类别分类模型。装置400还可包括ID图像处理模块，该ID图像处理模块配置为预处理接收到的ID图像、生成对准的ID图像和裁剪照片区域。装置400还可包括输出模块，该输出模块配置为输出由确定模块440获得的照片替换检测结果。这些模块的一个或多个或任何组合可以是用于检测照片ID中的照片替换的装置的一部分。
先前实施例中所示的系统、装置、模块或单元可以通过使用计算机芯片或实体来实现，或者可以通过使用具有特定功能的产品来实现。典型实施例的设备是计算机(并且该计算机可以是个人计算机)、膝上型计算机、蜂窝电话、摄像电话、智能手机、个人数字助理、媒体播放器、导航设备、电子邮件接收和发送设备、游戏机、平板计算机、可穿戴设备、或者这些设备的任何组合。被描述为独立部件的模块可以是物理上独立的，也可以不是物理上独立的，并且显示为模块的部件可以是物理模块，也可以不是物理模块，可以位于一个位置，或者可以分布在多个网络模块上。可根据实际需求选择部分或全部模块，以实现本文的方案的目标。本领域的普通技术人员不需要创造性的努力就可以理解和实现本申请的实施例。
图5是适用于执行图1和图2中所示的示例性方法的至少一些步骤的示例性计算机系统500的框图。以下对计算机系统/计算设备500的描述仅作为示例提供，并不意在限制。
如图5所示，示例计算设备500包括用于执行软件例程的处理器502。尽管为了清楚起见示出了单处理器，但是计算设备500还可以包括多处理器系统。处理器502连接到通信基础设施506，用于与计算设备500的其他组件通信。通信基础设施506可以包括例如通信总线、交叉条或网络。
计算设备500还包括诸如随机存取存储器(RAM)的主存储器504和辅助存储器510。辅助存储器510可以包括例如存储驱动器512，其可以是硬盘驱动器、固态驱动器或混合驱动器和/或可移动存储驱动器514，其可以包括磁带驱动器、光盘驱动器、固态存储驱动器(例如，USB闪存驱动器、闪存设备、固态驱动器或存储卡)等。可移动存储驱动器514以众所周知的方式对可移动存储介质518进行读取和/或写入。可移动存储介质518可包括磁带、光盘、非易失性存储器存储介质等，其由可移动存储驱动器514读取和写入。如相关领域的技术人员所理解，可移动存储介质518包括计算机可读存储介质，其中存储有计算机可执行程序代码指令和/或数据。
在可选实施方式中，辅助存储器510可另外地或替代地包括用于允许计算机程序或其他指令加载到计算设备500中的其他类似装置。此类装置可包括例如可移动存储单元522和接口520。可移动存储单元522和接口520的示例包括程序盒带和盒带接口(例如，在视频游戏控制台设备中找到的)、可移动存储器芯片(例如，EPROM或PROM)和相关联的插座、可移动固态存储驱动器(例如，USB闪存驱动器、闪存设备、固态驱动器或存储卡)和其他可移动存储单元522和接口520，其允许软件和数据从可移动存储单元522传输到计算机系统500。
计算设备500还包括至少一个通信接口524。通信接口524允许通过通信路径526在计算设备500和外部设备之间传输软件和数据。在本文的各种实施例中，通信接口524允许在计算设备500和数据通信网络(例如，公共数据通信网络或私有数据通信网络)之间传输数据。通信接口524可用于在不同计算设备500之间交换数据，这些计算设备500构成互连计算机网络的一部分。通信接口524的示例可以包括调制解调器、网络接口(例如，以太网卡)、通信端口(例如，串行、并行、打印机、GPIB、IEEE 1394、RJ45、USB)、具有相关电路的天线等。通信接口524可以是有线的，也可以是无线的。经由通信接口524传输的软件和数据以信号的形式存在，这些信号可以是能够由通信接口524接收的电子、电磁、光学或其他信号。这些信号经由通信路径526提供给通信接口。
如图5所示，计算设备500还包括显示接口528和音频接口532，显示接口528执行用于向关联显示器530呈现图像的操作，音频接口532执行用于经由关联扬声器534播放音频内容的操作。
如本文所使用的，术语“计算机程序产品”可部分指可移动存储介质518、可移动存储单元522、安装在存储驱动器512中的硬盘、或通过通信路径526(无线链路或电缆)到通信接口524的载波承载软件。计算机可读存储介质指任何非暂时性、非易失性有形存储介质，其向计算设备500提供记录的指令和/或数据以供执行和/或处理。此类存储介质的示例包括磁带、CD-ROM、DVD、Blu-rayTM盘、硬盘驱动器、ROM或集成电路、固态存储驱动器(例如，USB闪存驱动器、闪存设备、固态驱动器或存储卡)、混合驱动器、磁光盘、或计算机可读卡(例如，PCMCIA卡)等，无论此类设备是否在计算设备500的内部或外部。也可参与提供软件、应用程序、指令和/或数据到计算设备500的暂时性或非有形计算机可读传输介质的示例包括无线电或红外线传输信道以及到另一计算机或联网设备的网络连接以及包括电子邮件传输和记录在网站上的信息等的因特网或内部网。
计算机程序(也称为计算机程序代码)存储在主存储器504和/或辅助存储器510中。计算机程序也可通过通信接口524来接收。这些计算机程序在被执行时，使计算设备500能够执行本文讨论的实施例的一个或多个特征。在各种实施例中，所述计算机程序在被执行时，使处理器607能够执行上述实施例的特征。因此，这样的计算机程序表示计算机系统500的控制器。
软件可以存储在计算机程序产品中，并使用可移动存储驱动器514、存储驱动器512或接口520加载到计算设备500中。计算机程序产品可以是非暂时性计算机可读介质。或者，可以通过通信路径526将计算机程序产品下载到计算机系统500。所述软件在由处理器502执行时，使计算设备500执行必要的操作以执行如图1和图2所示的方法。
应理解，图5的实施例仅作为示例来说明系统500的操作和结构。因此，在一些实施例中，可以省略计算设备500的一个或多个特征。此外，在一些实施例中，计算设备500的一个或多个特征可以组合在一起。另外，在一些实施例中，计算设备500的一个或多个特征可以被分成一个或多个组件部分。
应理解，图5中所示的元件的功能是提供用于执行上述实施例中所描述的系统的各种功能和操作的装置。
本领域技术人员将理解，如具体实施例中所示，可以对本说明书进行多种变化和/或修改，而不偏离所广泛描述的说明书的范围。因此，本实施例在所有方面都被认为是说明性的而不是限制性的。

Claims (14)

1.一种计算机实现的用于检测照片身份证件中照片替换的方法，包括：
接收身份证件的裁剪照片区域的图像数据，其中，所述身份证件包括照片，所述裁剪照片区域至少包括所述照片；
通过多类别分类模型，基于所述裁剪照片区域的图像数据预测身份证件类别，其中，所述预测的身份证件类别对应于所述多类别分类模型中的预定类别集中的一个类别；
比较所述预测的身份证件类别与所述身份证件的指示类别；以及
响应于所述预测的身份证件类别与所述身份证件的指示类别不匹配，确定所述裁剪照片区域包括替换照片。
2.根据权利要求1所述的方法，其中，所述裁剪照片区域还包括所述照片周围的背景。
3.根据权利要求2所述的方法，其中，
所述照片具有高度H和宽度W，
所述裁剪照片区域具有在H和RH*H之间的高度以及在W和RW*W之间的宽度，RH和RW是大于1的预定比率。
4.根据前述权利要求中任一项所述的方法，其中，接收所述身份证件的裁剪照片区域的图像数据，包括：
接收所述身份证件的图像；
预处理所述身份证件的图像以生成所述身份证件的对准图像；以及
基于所述身份证件的指示类别和与所述身份证件的指示类别对应的照片位置信息，从所述身份证件的对准图像裁剪照片区域。
5.根据前述权利要求中任一项所述的方法，其中，基于所述裁剪照片区域的图像数据预测所述身份证件类别，包括：
将所述图像数据输入所述多类别分类模型；
输出针对所述预定类别集中每个类别的得分；以及
确定所述身份证件类别，其中，所述身份证件类别对应于所述预定类别集中具有最高得分的类别。
6.根据权利要求5所述的方法，所述方法还包括：
设置所述最高得分的阈值；以及
响应于所述预测的身份证件类别与所述身份证件的指示类别匹配以及所述最高得分低于所述阈值，确定所述裁剪照片区域包括替换照片。
7.根据前述权利要求中任一项所述的方法，其中，所述身份证件的指示类别由用户录入或选择。
8.根据前述权利要求中任一项所述的方法，其中，所述预定类别集包括来自一个或多个国家的国家身份证、护照或驾驶执照。
9.根据前述权利要求中任一项所述的方法，其中，所述多类别分类模型通过以下训练：
提供N类别的照片身份证件的样本图像；
从所述样本图像获得裁剪照片区域；以及
基于所述裁剪照片区域训练N类别分类模型，其中，所述N类别对应于所述N类别照片身份证件。
10.根据权利要求9所述的方法，其中，从所述样本图像获得所述裁剪照片区域，包括：
预处理至少一个所述样本图像以生成所述照片身份证件的对准图像；以及
基于所述照片身份证件的类别和与所述照片身份证件的类别对应的照片位置信息，从所述照片身份证件的对准图像裁剪照片区域。
11.根据权利要求9或10所述的方法，还包括：
通过包括所接收的所述身份证件的裁剪照片区域的图像数据，更新来自用于训练所述分类模型的所述样本图像的所述裁剪照片区域。
12.根据权利要求9至11中任一项所述的方法，其中，基于所述裁剪照片区域训练所述N类别分类模型是基于卷积神经网络算法的。
13.一种计算机实现的用于检测照片身份证件中照片替换的系统，包括：
一个或多个处理器；以及
一个或多个计算机可读存储器，耦接至一个或多个处理器并且其上存储有指令，所述指令由所述一个或多个处理器执行以执行权利要求1至12中任一项所述的方法。
14.一种用于检测照片身份证件中照片替换的装置，包括用于执行权利要求1至12中任一项所述的方法的多个模块。
CN202110640101.5A 2020-07-14 2021-06-08 用于检测照片身份证件中照片替换的方法、系统和装置 Pending CN113269187A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10202006694P 2020-07-14
SG10202006694P 2020-07-14

Publications (1)

Publication Number Publication Date
CN113269187A true CN113269187A (zh) 2021-08-17

Family

ID=77234661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110640101.5A Pending CN113269187A (zh) 2020-07-14 2021-06-08 用于检测照片身份证件中照片替换的方法、系统和装置

Country Status (2)

Country Link
US (1) US11250254B2 (zh)
CN (1) CN113269187A (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2476226B (en) * 2009-11-10 2012-03-28 Ingenia Holdings Ltd Optimisation
WO2018071768A1 (en) * 2016-10-14 2018-04-19 ID Metrics Group Incorporated Tamper detection for identification documents
CN109429519A (zh) 2017-06-30 2019-03-05 北京嘀嘀无限科技发展有限公司 用于验证证件照片的真实性的系统和方法
IL253532B (en) * 2017-07-17 2021-12-01 Au10Tix Ltd System, method and computer software product for analyzing images in JPEG format for forensic and other purposes
US11235613B2 (en) * 2019-04-08 2022-02-01 iProov Ltd. Document authentication by attitude-independent determination of surface appearance using controlled illumination
CN110751041A (zh) 2019-09-19 2020-02-04 平安科技（深圳）有限公司 证件真伪验证方法、系统、计算机设备及可读存储介质
CN110796054B (zh) 2019-10-21 2023-04-28 支付宝(杭州)信息技术有限公司 证件验真方法及装置
CN111191539B (zh) 2019-12-20 2021-01-29 江苏常熟农村商业银行股份有限公司 证件真伪验证方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20220019786A1 (en) 2022-01-20
US11250254B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
US9483629B2 (en) Document authentication based on expected wear
US20210117529A1 (en) Authenticating an identity of a person
US10320807B2 (en) Systems and methods relating to the authenticity and verification of photographic identity documents
US10403076B2 (en) Method for securing and verifying a document
US20200218772A1 (en) Method and apparatus for dynamically identifying a user of an account for posting images
JP2024144707A (ja) 情報処理方法、プログラム及び情報処理装置
CN108734099A (zh) 身份验证方法和装置、电子设备、计算机程序和存储介质
CN113269123B (zh) 证件识别方法和系统
CN112819486B (zh) 用于身份证明的方法和系统
US11250254B2 (en) Methods and systems for detecting photograph replacement in a photo identity document
CN113822292B (zh) 车辆特征信息存储方法、装置、计算机设备及存储介质
US20220005211A1 (en) Image processing method and system
CN112597810A (zh) 身份证明文件认证方法和系统
Patil et al. Securing Visual Integrity: Machine learning approaches for forged image detection
CN112434727A (zh) 身份证明文件认证方法和系统
US11393235B2 (en) Face image quality recognition methods and apparatuses
CN112613345A (zh) 用户认证方法和系统
CN112597808A (zh) 篡改检测方法和系统
CN112613346A (zh) 身份证明文件处理的方法和装置
CN117830314B (zh) 微观编码图像翻拍检测方法、装置、移动终端及存储介质
US20240021016A1 (en) Method and system for identity verification
CN112417417A (zh) 认证方法和系统
CN111798250A (zh) 用于确定官方文档的真实性的方法和系统
CN113920550A (zh) 手指真伪识别方法、电子装置及存储介质
CN112434747A (zh) 认证方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240924

Address after: 128 Meizhi Road, Singapore, Guohao Times City # 20-01189773

Applicant after: Ant Shield Co.,Ltd.

Country or region after: Singapore

Address before: 45-01 Anson Building, 8 Shanton Avenue, Singapore

Applicant before: Alipay laboratories (Singapore) Ltd.

Country or region before: Singapore