CN113449545A - 数据处理方法、装置、存储介质和处理器 - Google Patents

数据处理方法、装置、存储介质和处理器 Download PDF

Info

Publication number
CN113449545A
CN113449545A CN202010214458.2A CN202010214458A CN113449545A CN 113449545 A CN113449545 A CN 113449545A CN 202010214458 A CN202010214458 A CN 202010214458A CN 113449545 A CN113449545 A CN 113449545A
Authority
CN
China
Prior art keywords
identification
target
image
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010214458.2A
Other languages
English (en)
Inventor
陈均炫
谢贤海
蔡思佳
范托
邓兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010214458.2A priority Critical patent/CN113449545A/zh
Publication of CN113449545A publication Critical patent/CN113449545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种数据处理方法、装置、存储介质和处理器。其中,该方法包括:获取目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。本发明解决了对对象进行识别的效率低的技术问题。

Description

数据处理方法、装置、存储介质和处理器
技术领域
本发明涉及图像识别领域,具体而言,涉及一种数据处理方法、装置、存储介质和处理器。
背景技术
目前,在对对象进行识别时,往往是直接通过图像识别技术对对象的标识进行识别,但这无法有效识别标识是否故意被遮挡,比如,在对象存在违法违规行为时,为了躲避摄像头的拍摄,通常会将标识人为遮挡,从而导致摄像头无法准确识别出对象的标识号,进而逃脱监管;另外,在对对象的标识进行识别时,还通常是针对处于正常视角下的标识的识别,而在其它视角下,需要将其它视角下的标识矫正成正常视角下的标识,从而导致对对象的标识进行识别的过程复杂,进行存在对对象进行识别的效率低的技术问题。
针对上述的对对象进行识别的效率低的技术问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法、装置、存储介质和处理器,以至少解决对对象进行识别的效率低的技术问题。
根据本发明实施例的一个方面,提供了一种数据处理方法。该方法可以包括:获取目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:在目标界面显示目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;在目标界面显示第一识别结果,其中,第一识别结果为通过神经网络模型对异常图像区域进行识别得到,神经网络模型与目标对象的目标标识的当前状态相对应,且通过标识图像样本和对应的识别结果进行训练得到。
根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:获取目标对象的目标标识图像,其中,目标标识图像为对目标对象的第一原始标识图像的边界进行扩展后的图像,且包括无法正常显示内容的异常图像区域;通过神经网络模型对异常图像区域进行识别,得到异常图像区域无法正常显示内容的原因信息,其中,神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息进行训练得到;输出原因信息。
根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:获取目标对象的目标标识图像,其中,目标标识图像用于指示目标对象的目标标识当前处于非正常视角,且包括无法正常显示内容的异常图像区域;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到;输出标识特征。
根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:获取上传至交易平台的目标对象的目标标识图像,其中,目标标识图像包括在交易平台无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过交易平台的标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
根据本发明实施例的另一方面,还提供了一种数据处理装置。该装置可以包括:第一获取单元,用于获取目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;第一确定单元,用于确定目标对象的目标标识的当前状态;第二确定单元,用于确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;第一识别单元,用于通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;第一输出单元,用于输出第一识别结果。
根据本发明实施例的另一方面,还提供了另一种数据处理装置。该装置可以包括:第一显示单元,用于在目标界面显示目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;第二显示单元,用于在目标界面显示第一识别结果,其中,第一识别结果为通过神经网络模型对异常图像区域进行识别得到,第一识别结果包括异常图像区域内识别出的内容信息,神经网络模型与目标对象的目标标识的当前状态相对应,且通过标识图像样本和对应的识别结果进行训练得到。
根据本发明实施例的另一方面,还提供了一种数据处理装置。该装置可以包括:第二获取单元,用于获取目标对象的目标标识图像,其中,目标标识图像为对目标对象的第一原始标识图像的边界进行扩展后的图像,且包括无法正常显示内容的异常图像区域;第二识别单元,用于通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;第二输出单元,用于输出第一识别结果。
根据本发明实施例的另一方面,还提供了一种数据处理装置。该装置可以包括:第三获取单元,用于获取目标对象的目标标识图像,其中,目标标识图像用于指示目标对象的目标标识当前处于非正常视角,且包括无法正常显示内容的异常图像区域;第三识别单元,用于通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;第三输出单元,用于输出第一识别结果。
根据本发明实施例的另一方面,还提供了一种存储介质。该存储介质可以包括:包括存储的程序,其中,在程序运行时控制存储介质所在设备执行以下步骤:获取目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
根据本发明实施例的另一方面,还提供了一种处理器。该处理器用于运行程序,其中,程序运行时执行以下步骤:获取目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
根据本发明实施例的另一方面,还提供了一种移动终端。该移动终端包括:处理器;传输装置,用于传输目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;以及存储器,与传输装置相连接,用于为处理器提供处理以下处理步骤的指令:确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
在本发明实施例中,获取目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。也就是说,本申请基于预先训练好的神经网络模型对对象的标识图像中无法正常显示内容的异常图像区域进行自动识别,而神经网络模型与目标对象的目标标识的当前状态相对应,是依据标识图像样本和对应的识别结果训练得到的,从而可以达到准确、快速地对对象进行识别的目的,避免了由于依赖常规的图像识别技术对对象的标识直接进行识别,导致对标识识别不准确,或者识别过程繁琐,从而达到了提高对对象进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图;
图2是根据本发明实施例的一种数据处理方法的流程图;
图3是根据本发明实施例的另一种数据处理方法的流程图;
图4是根据本发明实施例的另一种数据处理方法的流程图;
图5是根据本发明实施例的另一种数据处理方法的流程图;
图6A是根据本发明实施例的一种故意遮挡标识违法行为的自动发现算法的流程图;
图6B是根据本发明实施例的一种故意遮挡标识的违法行为的应用场景示意图;
图7A是根据本发明实施例的一种对处于非正常视角下的标识进行识别的方法的流程图;
图7B是根据本发明实施例的一种对处于非正常视角下的车牌进行识别的应用场景的示意图;
图8是根据本发明实施例的一种数据处理方法的交互界面的示意图;
图9是根据本发明实施例的一种数据处理装置的示意图;
图10是根据本发明实施例的另一种数据处理装置的示意图;
图11是根据本发明实施例的另一种数据处理装置的示意图;
图12是根据本发明实施例的另一种数据处理装置的示意图;以及
图13是根据本发明实施例的一种移动终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
神经网络,一种可以通过观测数据使计算机学习的仿生语言范例;
深度学习(Deep Learning),深度学习是机器学习拉出的分支,试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法;
深度学习(Deep Learning),深度学习是机器学习拉出的分支,试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法;
计算机视觉(Computer Vision),计算机视觉是一门研究如何使机器“看”的科学,就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图像处理,用计算机处理成为更适合人眼观察或传送给仪器检测的图像;
卷积神经网络(Convolutional Neural Networks,简称为CNN),是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习的代表算法之一。
实施例1
根据本发明实施例,还提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1是根据本发明实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的数据处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在图1所示的运行环境下,本申请提供了如图2所示的数据处理方法。需要说明的是,该实施例的数据处理方法可以由图1所示实施例的移动终端执行。
图2是根据本发明实施例的一种数据处理方法的流程图。如图2所示,该方法包括以下步骤:
步骤S202,获取目标对象的目标标识图像。
在本发明上述步骤S202提供的技术方案中,目标标识图像包括无法正常显示内容的异常图像区域。
在该实施例中,目标对象为需要识别标识的对象,比如,目标对象为目标车辆,标识为车牌,需要对该目标车辆识别出车牌。可选地,该目标对象为城市中管控较为严格的大货车以及其它可能存在违法违规行为的对象等,此处不做具体限制。该实施例可以通过图像采集设备来获取目标对象的目标标识图像,该目标标识图像中包括了无法正常显示内容的异常图像区域,比如,被其它对象遮挡的区域、抓拍不全的区域、图像模糊的区域、处于非正常视角的区域等,其中,图像采集设备可以为摄像头,可以对目标对象进行抓拍,从抓拍得到的图像中获取需要进行处理的目标标识图像,该目标标识图像可以为目标车辆图像。
步骤S204,确定目标对象的目标标识的当前状态。
在本发明上述步骤S204提供的技术方案中,当前状态可以为目标标识本身所处的状态,可以为目标标识为其它外界因素对其影响而产生的状态,比如,目标标识是否被遮挡等,还可以是目标标识是否处于正常视角等状态。
步骤S206,确定与当前状态对应的神经网络模型。
在本发明上述步骤S206提供的技术方案中,目标标识不同的当前状态,可以对应不同的神经网络模型,该实施例可以基于目标标识的当前状态确定与其相对应的预先训练好的神经网络模型。
该实施例的神经网络模型为一种可以通过观测数据使计算机学习的仿生语言的模型,可以为通过标识图像样本和标识图像样本中每个标识图像对应的识别结果进行训练得到,用于对输入的标识图像进行识别,其中,标识图像样本可以为车牌图像样本,可以通过车牌图像样本和车牌图像样本中每个车牌图像对应的识别结果进行训练得到神经网络模型,该神经网络模型用于对输入的车牌图像进行识别。
在该实施例中,可以预先收集大量的标识图像,得到标识图像样本,以及获取标识图像样本中的每个标识图像对应的识别结果,对初始建立的子神经网络模型进行训练,得到神经网络模型,其中,子神经网络模型可以为初始建立的检测模型,识别结果可以为标识是否被故意遮挡,或者为标识的标识字符等,比如,识别结果可以为车牌是否被故意遮挡,或者为车牌的车牌字符等。
可选地,该实施例在通过标识图像样本和标识图像样本中每个标识图像对应的识别结果,对子神经网络模型进行训练时,可以对标识图像样本和标识图像样本中每个标识图像对应的识别结果按照分布一致性算法、去噪、采样等算法进行预处理,再从预处理后的数据中进行特征提取、特征变换、特征归一、特征组合等得到用于训练子神经网络模型的特征,进一步通过优化算法、假设函数、损失函数、决策边界、收敛速度、迭代策略等对特征进行处理,得到每个标识图像和对应的识别结果之间的关系的标签,进而通过该标签确定子神经网络模型的参数,通过该参数确定神经网络模型。该实施例还可以对最后训练得到的神经网络模型进行交叉验证、评估目标、过拟合、欠拟合等评价,从而得到用于对不同的标识图像进行识别以得到相应的识别结果的神经网络模型
步骤S208,通过神经网络模型对异常图像区域进行识别,得到第一识别结果。
在本发明上述步骤S208提供的技术方案中,在确定与当前状态对应的神经网络模型之后,可以将无法正常显示内容的异常图像区域输入至预先训练好的与目标标识的当前状态对应的神经网络模型中,通过预先训练好的神经网络模型对异常图像区域进行识别处理,得到第一识别结果,该第一识别结果包括异常图像区域内识别出的内容信息,该内容信息可以是异常图像区域所显示的信息,也可以是与显示的信息相关的信息。
步骤S210,输出第一识别结果。
在本发明上述步骤S210提供的技术方案中,在通过神经网络模型对异常图像区域进行识别,得到第一识别结果之后,可以输出第一识别结果,比如,通过文本、语音、图像等方式来输出上述第一识别结果。
该实施例通过上述步骤S202至步骤S210,获取目标对象的目标标识图像;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,目标标识图像包括无法正常显示内容的异常图像区域;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息。也就是说,本申请基于预先训练好的神经网络模型对对象的标识图像中无法正常显示内容的异常图像区域进行自动识别,而神经网络模型与目标对象的目标标识的当前状态相对应,是依据标识图像样本和对应的识别结果训练得到的,从而可以达到准确、快速地对对象进行识别的目的,避免了由于依赖常规的图像识别技术对对象的标识直接进行识别,导致对标识识别不准确,或者识别过程繁琐,从而达到了提高对对象进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
下面对该实施例的上述方法进行进一步介绍。
该实施例的对目标标识的识别可以包括识别目标标识是否被故意遮挡的方法,下面对其进行进一步介绍。
作为一种可选的实施方式,异常图像区域包括目标标识的被遮挡部分的区域,步骤S204,确定目标对象的目标标识的当前状态,包括:确定目标标识当前处于遮挡状态;步骤S206,确定与当前状态对应的神经网络模型,包括:确定与遮挡状态对应的第一神经网络模型,其中,第一神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息训练得到。
在该实施例中,确定目标标识当前处于遮挡状态,该遮挡状态是指目标标识或对目标标识进行拍摄的设备由于一些因素干扰导致目标标识的字符未完全显示或者存在污损,可以是在视觉上看作被遮挡的状态,也可以是目标标识当前由遮挡对象进行遮挡,比如,以车牌识别场景为例,城市中对大货车的管控要求很多,规定特定道路限制大货车行驶,而在大货车进行违法违规行为时,为了躲避摄像头的拍摄,车牌可以是由人为进行遮挡,也可以是拍摄时被其它对象遮挡,或者是在抓拍目标标识的图像时没有将标识抓拍全,或是由于摄像头拍摄质量差导致标识不清晰等。
在该实施例中,确定与遮挡状态对应的第一神经网络模型,其中,上述神经网络模型包括该第一神经网络模型,用于训练得到该第一神经网络模型的标识图像样本中的每个标识图像样本对应的标识处于遮挡状态,并且每个标识具有对应的异常图像区域无法正常显示内容的原因信息,可以是由遮挡对象故意遮挡,或由遮挡对象非故意遮挡,比如,如果人为遮挡标识,则可以确定该标识是由遮挡对象故意遮挡,而在对标识进行拍摄时被其它对象遮挡,或者抓拍时没有将标识抓拍全,或由于摄像头拍摄质量差导致标识不清晰等,则可以确定该标识由遮挡对象非故意遮挡。通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息训练得到第一神经网络模型,也即,该实施例的第一神经网络模型考虑到了异常图像区域无法正常显示内容的原因信息,从而提高了对标识进行识别的准确性。
可选地,该实施例可以通过开源软件(Pytorch)来对每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息进行训练,从而得到上述第一神经网络模型。
需要说明的是,上述方法可以应用于车辆的车牌识别中,目标对象可以为目标车辆,目标标识可以为目标车牌,每个标识可以为每个车牌,标识图像样本可以为车牌图像样本。
作为一种可选的实施方式,S208,通过神经网络模型对异常图像区域进行识别,得到第一识别结果,包括:通过第一神经网络模型对异常图像区域进行识别,得到异常图像区域无法正常显示内容的原因信息,其中,内容信息包括原因信息。
在该实施例中,在确定出目标标识图像处于遮挡状态之后,可以将目标标识图像输入至上述第一神经网络模型中,通过第一神经网络模型对目标标识图像中的无法正常显示内容的异常图像区域进行识别,比如,通过第一神经网络模型对应的公式对异常图像区域的参数进行处理,得到异常图像区域无法正常显示内容的原因信息,比如,目标标识由遮挡对象故意遮挡的结果或目标标识由遮挡对象非故意遮挡的结果,从而避免了相关技术中使用字符识别系统识别出标识的字符,当识别出的标识的字符数少于该类标识应包含的字符数时,则直接判断故意遮挡标识,而导致误判的结果,比如,一辆黄牌货车在正常情况下的标识号应为7位,当识别出的标识号字符数小于7位时,则相关技术通常是直接确定故意遮挡标识,而并未考虑标识被遮挡的实际原因。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述标识可以指车牌,目标标识可以为目标车牌,目标对象可以为目标车辆。
作为一种可选的实施方式,通过第一神经网络模型对异常图像区域进行识别,得到异常图像区域无法正常显示内容的原因信息,包括:通过第一神经网络模型对异常图像区域进行识别,得到第一数值,其中,第一数值用于指示目标标识由遮挡对象故意遮挡的可能性;在第一数值大于第一阈值的情况下,确定原因信息为目标标识由遮挡对象故意遮挡的结果;在第一数值不大于第一阈值的情况下,确定原因信息为目标标识由遮挡对象故意遮挡的结果确定第一识别结果为目标标识由遮挡对象非故意遮挡的结果。
在该实施例中,可以通过第一神经网络模型对应的公式对异常图像区域的参数进行处理,得到第一数值,该第一数值可以用于指示目标标识由遮挡对象故意遮挡的可能性,比如,为分数或概率。在得到第一数值之后,可以判断该第一数值是否大于第一阈值,如果判断出第一数值大于第一阈值,则可以确定原因信息为目标标识由遮挡对象故意遮挡,并将输出该原因信息。可选地,如果判断出第一数值不大于第一阈值,则可以确定原因信息为目标标识由遮挡对象非故意遮挡,并输出该原因信息,其中,第一阈值为预先定义的通过第一数值区分目标标识是否由遮挡对象故意遮挡的临界值。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标标识可以为目标车牌,目标标识图像可以为目标车牌图像。
作为一种可选的实施方式,通过第一神经网络模型对异常图像区域进行识别,得到异常图像区域无法正常显示内容的原因信息,包括:通过第一神经网络模型对异常图像区域进行识别,得到第二数值,其中,第二数值用于指示目标标识由遮挡对象非故意遮挡的可能性;在第二数值大于第二阈值的情况下,确定原因信息为目标标识由遮挡对象非故意遮挡的结果;在第二数值不大于第二阈值的情况下,确定第一识别结果为目标标识由遮挡对象故意遮挡的结果确定第一识别结果为目标标识由遮挡对象故意遮挡的结果。
在该实施例中,可以通过第一神经网络模型对应的公式对异常图像区域的参数进行计算,得到第二数值,该第二数值可以用于指示目标标识由遮挡对象非故意遮挡的可能性,比如,为分数或概率。在得到第二数值之后,可以判断该第二数值是否大于第二阈值,如果判断出第二数值大于第二阈值,则可以确定原因信息为目标标识由遮挡对象非故意遮挡,并输出该原因信息。可选地,如果判断出第二数值不大于第二阈值,则可以确定目标标识由遮挡对象故意遮挡,并输出该原因信息,其中,第二阈值为预先定义的通过第二数值区分目标标识是否由遮挡对象故意遮挡的临界值。
需要说明的是,该实施例的上述第一数值和第二数值可以为神经网络模型内部处理所得到的结果,而最终输出的结果为上述原因信息,从而直接向用户呈现目标标识是否由遮挡对象故意遮挡的结果。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标标识可以为目标车牌,目标标识图像可以为目标车牌图像。
作为一种可选的实施方式,该方法还包括:在原因信息为目标标识由遮挡对象故意遮挡的结果的情况下,输出提示信息。
在该实施例中,在异常图像区域无法正常显示内容的原因信息为目标标识由遮挡对象故意遮挡的结果的情况下,比如,在判断出上述第一数值大于第一阈值,或者判断出上述第二数值不大于第二阈值,则可以输出提示信息,该提示信息可以为报警信息,可以用于指示目标标识由遮挡对象故意遮挡,也即,只有在目标标识由遮挡对象故意遮挡的情况下,才输出提示信息,从而自动发现对象的标识由遮挡对象故意遮挡这种违法行为,提高了对象监管效率,避免了传统的智能摄像头、智能分析系统并不支持故意遮挡标识的违法行为的发现;可选地,该实施例在目标标识由遮挡对象非故意遮挡的情况下,不输出提示信息,从而避免在目标标识由遮挡对象非故意遮挡的情况下,给出错误的报警信息,从而达到了通过神经网络模型来降低非故意遮挡标识情况的误报警的目的。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述方法可以应用于车辆的车牌识别中,上述目标标识可以为目标车牌。
作为一种可选的实施方式,该方法还包括:响应标注操作指令,对目标标识图像进行标注,得到第二识别结果,其中,第二识别结果包括标注的异常图像区域无法正常显示内容的原因信息;通过目标标识图像和第二识别结果调整第一神经网络模型的第一模型参数。
在该实施例中,在获取目标标识图像之后,可以将目标标识图像作为一个图像样本来对第一神经网络模型进行进一步训练。可选地,该实施例可以响应标注操作指令,对目标标识图像进行标注,其中,该实施例可以由标注人员对目标标识图像的无法正常显示内容的异常图像区域进行判断,确定目标标识是否由遮挡对象遮挡,进而由标注人员触发上述标注操作指令,对目标标识图像进行标注,得到第二识别结果,该第二识别结果包括标注的异常图像区域无法正常显示内容的原因信息,进而将目标标识图像和第二识别结果作为一个样本来对第一神经网络模型的第一模型参数进行调整,也即,对第一神经网络模型的第一模型参数进行进一步优化,可以将目标标识图像和第二识别结果送入至第一神经网络模型的模型训练部分,对第一神经网络模型进行迭代训练,达到优化第一神经网络模型的识别效果的目的。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标标识图像可以为目标车牌图像,上述目标标识可以为目标车牌。
作为一种可选的实施方式,在确定与遮挡状态对应的第一神经网络模型之前,该方法还包括:获取由遮挡对象非故意遮挡的多个标识图像,并将多个标识图像确定为标识图像样本;获取多个标识图像中的每个标识图像的识别结果,其中,识别结果用于指示对应的标识由遮挡对象故意遮挡;通过标识图像样本和每个标识图像的识别结果对第一子神经网络模型进行训练,得到第一神经网络模型。
在该实施例中,在确定与遮挡状态对应的第一神经网络模型之前,需要训练得到第一神经网络模型,可以在样本标注部分,有针对性地获取由遮挡对象非故意遮挡的多个标识图像,并将其确定为标识图像样本,比如,有针对性的收集被其它对象遮挡、抓拍不全、照片模糊导致的误报警样本,并且对多个标识图像中的每个标识图像进行标注,得到识别结果,该识别结果用于指示对应的标识由遮挡对象故意遮挡,进而通过上述标识图像样本和每个标识图像的识别结果对第一子神经网络模型进行训练,得到第一神经网络模型,增强该第一神经网络对由遮挡对象非故意遮挡的标识图像的区分能力,从而有效地降低误报警,提高报警的准确性,比如,可以达到80%的报警准确率。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述标识图像可以为车牌图像,上述标识图像样本可以车牌图像样本,上述标识可以为车牌。
作为一种可选的实施方式,步骤S202,获取目标对象的目标标识图像,包括:获取目标对象的拍摄图像;从拍摄图像中识别出目标标识的第一原始标识图像;在目标对象的图像中,对第一原始标识图像的边界进行扩展,得到目标标识图像。
在该实施例中,通过第一神经网络模型对异常图像区域进行识别,得到第一识别结果之前,可以获取目标对象的拍摄图像,比如,通过摄像头对目标对象进行抓取,得到拍摄图像,在该拍摄图像包括除目标对象之外的其它图像时,需要从该拍摄图像中提取出目标对象的图像,进而可以基于标识识别算法,从目标对象的图像中识别出目标标识的第一原始标识图像,也即,标识区域子图,进而对第一原始标识图像的边界进行扩展,以得到目标标识图像。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标对象可以为目标车辆,目标标识图像可以为目标车牌图像,目标标识可以为目标车牌,第一原始标识图像可以为第一原始车牌图像。
作为一种可选的实施方式,在目标对象的图像中,对第一原始标识图像的边界进行扩展,得到目标标识图像,包括:获取第一原始标识图像的第一边界,其中,第一边界用于确定第一原始标识图像在拍摄图像中的第一区域;对第一边界进行扩展,得到第二边界,其中,第二边界大于第一边界;以第一原始标识图像为基准,通过第二边界确定目标标识图像,其中,目标标识图像在拍摄图像中的第二区域,包括且大于第一区域。
在该实施例中,在实现对第一原始标识图像的边界进行扩展时,可以获取第一原始标识图像第一边界,该第一边界可以用于确定第一原始标识图像在拍摄图像中的第一区域,比如,该第一边界可以包括第一原始标识图像的高度边界和宽度边界。对第一边界进行扩展,得到第二边界,比如,对第一原始标识图像的高度边界进行扩展,可以将第一原始标识图像的高度边界扩展为原来的5倍,得到第二边界中的高度边界,还可以对第一原始标识图像的宽度边界进行扩展,比如,可以将第一原始标识图像的宽度边界扩展为原来的3倍,得到第二边界中的宽度边界,进而以原始标识图像为基准,通过上述第二边界确定目标标识图像,比如,通过上述第二边界中的高度边界和宽度边界在拍摄图像中确定出目标标识图像,该目标标识图像在拍摄图像中所占的第二区域大于第一区域,也即,目标标识图像包括了第一原始标识图像,比如,目标标识被黑布或人遮挡,第一原始标识图像为不完整的标识图像,而对第一原始标识图像的边界进行扩展后,所得到的目标标识图像除了包括上述不完整的标识图像之外,还可以包括黑布或人,其中,目标标识的被遮挡部分的区域以及黑布或人对应的除被遮挡部分的区域之外的其它区域,都为非正常显示内容的异常图像区域,从而准确地识别出目标对象是否由遮挡对象故意遮挡,从而提高了对标识进行识别的效率。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标对象可以为目标车辆,目标标识图像可以为目标车牌图像,目标标识可以为目标车牌,第一原始标识图像可以为第一原始车牌图像,标识图像可以为车牌图像。
在该实施例中,通过获取目标对象的目标标识图像,确定目标标识当前处于遮挡状态,确定与遮挡状态对应的第一神经网络模型,其中,第一神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息训练得到,通过第一神经网络模型对异常图像区域进行识别,得到异常图像区域无法正常显示内容的原因信息,提高了对标识图像识别的效率,解决了对标识图像识别的效率低的技术问题。
在相关技术中,在对标识进行识别时,往往是针对处于正常视角的标识的识别,而对于处于非正常视角(大角度)的标识,往往需要将处于非正常视角的标识矫正成处于正常视角的标识,而后对处于正常视角的标识进行识别。但是,矫正的关键点的提取极其容易受到天气、光照等周围环境因素等影响,一旦矫正关键点选取错误,则将导致对非正常视角的标识矫正失败,进一步导致对其识别错误。
而该实施例的数据处理方法还包括对不同视角的标识进行识别的方法。下面对其进行进一步介绍。
作为一种可选的实施方式,异常图像区域包括目标标识的处于非正常视角的区域,步骤S204,确定目标对象的目标标识的当前状态,包括:确定目标标识当前处于非正常视角;步骤S206,确定与当前状态对应的神经网络模型,包括:确定与非正常视角对应的第二神经网络模型,其中,第二神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到。
在该实施例中,目标标识的当前状态可以包括目标标识当前处于非正常视角的状态,当目标标识的处于非正常视角时,存在无法正常显示内容的异常图像区域。其中,非正常视角可以为不能完全正对着呈现出目标标识的视角,比如,为左侧视角、右侧视角、俯视角、仰视角等。在确定出目标标识当前处于非正常视角的状态之后,可以确定用于对处于非正常视角的目标标识对应的目标标识图像进行处理的第二神经网络模型,其中,上述神经网络模型包括该第二神经网络模型,用于训练得到该第二神经网络模型的标识图像样本中的每个标识图像对应的标识处于不同视角,通过标识图像样本中的处于不同视角的标识对应的标识图像和每个标识的标识特征训练得到上述第二神经网络,其中,标识特征可以包括标识的不同字符。
可选地,该实施例的上述第二神经网络模型可以为深度学习网络模型、机器学习模型、计算机视觉模型和卷积神经网络模型。其中,深度学习网络模型是机器学习拉出的分支,为使用包含复杂结构或由多重非线性变换构成的多个处理层,来对数据进行高层抽象的算法;机器学习算法涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科,主要是设计和分析一些让计算机可以自动学习的算法;计算机视觉是研究如何使机器看的科学,指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图像处理,用计算机处理成为更适合人眼观察或传送给仪器检测的图像;卷积神经网络是包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标对象可以为目标车辆,目标标识可以为目标车牌,每个标识可以为每个车牌,标识图像样本可以为车牌图像样本,标识特征可以为车牌特征。
作为一种可选的实施方式,步骤S208,通过神经网络模型对异常图像区域进行识别,得到第一识别结果,包括:通过第二神经网络模型对异常图像区域进行识别,得到目标标识的标识特征,其中,内容信息包括标识特征。
在该实施例中,在获取目标标识图像之后,可以将目标标识图像输入至第二神经网络模型中,通过第二神经网络模型对目标标识图像中的异常图像区域进行识别,比如,通过第二神经网络模型对应的公式对处于非正常视角的异常图像区域的参数进行处理,得到目标标识的标识特征,可以得到目标标识的全部字符,从而无需对处于非正常视角的目标标识进行校正,仅通过预先训练好的第二神经网络模型对目标标识图像进行处理,就可以得到目标标识的标识特征,简化了对目标标识进行识别的流程,从而提高了对目标标识进行识别的效率。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标标识图像可以为目标车牌图像,目标标识可以为目标车牌,标识特征可以为车牌特征。
作为一种可选的实施方式,在确定与非正常视角对应的第二神经网络模型之前,该方法还包括:获取至少一个标识的第二原始标识图像,其中,第二原始标识图像所指示的标识处于正常视角;对第二原始标识图像进行变换,得到多个变换标识图像,其中,每个变换标识图像用于指示标识所处的一个非正常视角;将第二原始标识图像和多个变换标识图像确定为标识图像样本;基于标识图像样本和对应的特征对第二子神经网络模型进行训练,得到第二神经网络模型。
在该实施例中,在确定与非正常视角对应的第二神经网络模型之前,需要对第二神经网络模型进行训练,可以获取至少一个标识的第二原始标识图像,该第二原始标识图像对应的标识处于正常视角,也即,处于可以完全呈现出标识的字符的视角,其中,第二原始标识图像也可以称为正常标识图像。对获取到的第二原始标识图像安装不同的非正常视角进行变换,得到多个变换标识图像,该变换标识图像也称为大角度标识图像。在得到多个变换标识图像之后,可以将第二原始标识图像和多个变换标识图像确定为标识图像样本,基于标识图像样本和对应的特征对第二子神经网络模型进行训练,得到第二神经网络模型。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述至少一个标识可以为至少一个车牌,上述第二原始标识图像可以为第二原始车牌图像,多个变换标识图像可以为多个变换车牌图像,标识图像样本可以为车牌图像样本。
作为一种可选的实施方式,基于标识图像样本和对应的特征对第二子神经网络模型进行训练,得到第二神经网络模型,包括:将多个变换标识图像与标识的第二原始标识图像组成为目标图像;通过第二子神经网络模型从目标图像中提取出每个变换标识图像的特征和第二原始标识图像的特征,其中,特征包括标识特征;基于每个变换标识图像的特征和第二原始标识图像的特征确定第二神经网络模型的第二模型参数,其中,第二模型参数用于将每个变换标识图像的特征调整至与第二原始标识图像的特征的相似度小于第三阈值的特征;基于第二子神经网络模型和第二模型参数确定第二神经网络模型。
在该实施例中,在实现基于标识图像样本和对应的特征对第二子神经网络模型进行训练,得到第二神经网络模型时,可以先将各种视角的变换标识图像与标识的第二原始标识图像组成为目标图像,该目标图像也称为批图像,将其输入至第二子神经网络模型中,该第二子神经网络模型可以为卷积神经网络模型,通过其从目标图像中提取出每个变换标识图像的特征和第二原始标识图像的特征,该特征可以为标识特征。该实施例可以在一个批图像内,基于每个变换标识图像的特征和第二原始标识图像的特征确定第二神经网络模型的第二模型参数,该第二模型参数可以将每个变换标识图像的特征调整至与第二原始标识图像的特征的相似度小于第三阈值的特征,使得将从各个视角的变换标识图像所提取的特征,逼近于从第二原始标识图像中所提取的特征,进而使得第二神经网络在进行标识图像识别时具有角度特征一致性,能够达到对各个视角的标识的识别更加鲁棒的效果。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述多个变换标识图像可以为多个变换车牌图像,标识图像样本可以为车牌图像样本,标识可以为车牌,第二原始标识图像可以为第二原始车牌图像,标识特征可以车牌特征。
作为一种可选的实施方式,该方法还包括:基于损失函数调整第二模型参数。
在该实施例中,在训练得到第二神经网络模型时,可以采用损失函数监督第二神经网络模型的参数的训练,通过损失函数来调整第二模型参数。其中,损失函数(lossfunction)是用来估量第二神经网络模型的预测值与真实值的不一致程度,它是一个非负实值函数,基于损失函数调整第二模型参数,损失函数越小,则第二神经网络模型的鲁棒性就越好。
作为一种可选的实施方式,对第二原始标识图像进行变换,得到多个变换标识图像,包括:基于透射变换矩阵对第二原始标识图像进行变换,得到多个变换标识图像。
在该实施例中,在一定范围内、随机在线生成透射变换矩阵,并采用该投射变换矩阵对标识对第二原始标识图像进行变换,得到各种视角下的多个变换标识图像。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述多个变换标识图像可以为多个变换车牌图像,第二原始标识图像可以为第二原始车牌图像。
在该实施例中,异常图像区域包括目标标识的处于非正常视角的区域,通过获取目标对象的目标标识图像,确定目标标识当前处于非正常视角,确定与非正常视角对应的第二神经网络模型,其中,第二神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到,通过第二神经网络模型对异常图像区域进行识别,得到目标标识的标识特征,输出该目标标识的标识特征,从而提高了对标识图像识别的效率,解决了对标识图像识别的效率低的技术问题。
本发明实施例还从用户交互角度提供了另一种与图2所示的数据处理方法相对应的数据处理方法。
图3是根据本发明实施例的另一种数据处理方法的流程图。如图3所示,该方法可以包括以下步骤:
步骤S302,在目标界面显示目标对象的目标标识图像。
在本发明上述步骤S302提供的技术方案中,目标标识图像包括无法正常显示内容的异常图像区域,比如,被其它对象遮挡的区域、抓拍不全的区域、图像模糊的区域、处于非正常视角的区域等,目标对象为需要识别标识的对象。该实施例可以通过图像采集设备来获取目标对象的目标标识图像,并在目标界面显示目标对象的目标标识图像。
步骤S304,在目标界面显示第一识别结果,其中,第一识别结果为通过神经网络模型对异常图像区域进行识别得到。
在本发明上述步骤S304提供的技术方案中,在目标界面显示目标对象的目标标识图像之后,在目标界面显示第一识别结果,其中,第一识别结果为通过神经网络模型对异常图像区域进行识别得到,第一识别结果包括异常图像区域内识别出的内容信息,神经网络模型与目标对象的目标标识的当前状态相对应,且通过标识图像样本和对应的识别结果进行训练得到。
在该实施例中,可以预先收集大量的标识图像,得到标识图像样本,以及获取标识图像样本中的每个标识图像对应的识别结果,对初始建立的子神经网络模型进行训练,得到神经网络模型,其中,子神经网络模型可以为初始建立的检测模型,识别结果可以为标识是否被故意遮挡,或者为标识的标识字符等。
在通过神经网络模型对异常图像区域进行识别,得到第一识别结果之后,可以目标界面显示第一识别结果,也可以通过语音来输出上述第一识别结果。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标对象可以为目标车辆,目标标识图像可以为目标车牌图像。
该实施例通过上述步骤S302和步骤S304,在目标界面显示目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;在目标界面显示第一识别结果,其中,第一识别结果为通过神经网络模型对异常图像区域进行识别得到,第一识别结果包括异常图像区域内识别出的内容信息,神经网络模型与目标对象的目标标识的当前状态相对应,且通过标识图像样本和对应的识别结果进行训练得到。也就是说,本申请基于预先训练好的神经网络模型对对象的标识图像中无法正常显示内容的异常图像区域进行自动识别,而神经网络模型与目标对象的目标标识的当前状态相对应,是依据标识图像样本和对应的识别结果训练得到的,从而可以达到准确、快速地对对象进行识别的目的,避免了由于依赖常规的图像识别技术对对象的标识直接进行识别,导致对标识识别不准确,或者识别过程繁琐,从而达到了提高对对象进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
下面对该实施例的上述方法进行进一步介绍。
作为一种可选的实施方式,在步骤S304,在目标界面显示第一识别结果之前,该方法还包括:在目标界面上显示目标对象的目标标识的当前状态,其中,当前状态与神经网络模型相对应。
该实施例的神经网络模型可以应用于不同场景下的标识图像的识别。在通过神经网络模型对异常图像区域进行识别,得到第一识别结果之前,可以先确定目标对象的目标标识所处的当前状态,并在目标界面上显示目标对象的目标标识的当前状态。该实施例的目标标识的不同的当前状态,可以对应不同的神经网络模型,该实施例基于目标标识的当前状态确定对应的神经网络模型。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标对象可以为目标车辆,目标标识可以为目标车牌。
作为一种可选的实施方式,异常图像区域包括目标标识的被遮挡部分的区域,在目标界面上显示目标对象的目标标识的当前状态,包括:在目标界面上显示第一状态信息,其中,第一状态信息用于指示目标标识当前处于遮挡状态,遮挡状态与第一神经网络模型相对应,第一神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息训练得到。
在该实施例中,在目标界面上显示第一状态信息,以确定目标标识当前处于遮挡状态,比如,城市中对大货车的管控要求很多,规定特定道路限制大货车行驶,而在大货车进行违法违规行为时,为了躲避摄像头的拍摄,标识可以是由人为进行遮挡,也可以是拍摄时被其它对象遮挡,或者是在抓拍目标标识的图像时没有将标识抓拍全,或是由于摄像头拍摄质量差导致标识不清晰等。
在该实施例中,确定与遮挡状态对应的第一神经网络模型,该第一神经网络模型用于训练得到该第一神经网络模型的标识图像样本中的每个标识图像样本对应的标识处于遮挡状态,并且每个标识具有对应的异常图像区域无法正常显示内容的原因信息,比如,每个标识可以由遮挡对象故意遮挡,或由遮挡对象非故意遮挡。通过每个标识处于遮挡状态的标识图像样本和每个标识由遮挡对象故意遮挡的结果或由遮挡对象非故意遮挡的结果训练得到第一神经网络模型,也即,该实施例的第一神经网络模型考虑到了标识处于遮挡状态的原因信息,从而提高了对标识进行识别的准确性。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标标识可以为目标车牌,每个标识可以为每个车牌,标识图像样本可以为车牌图像样本。
作为一种可选的实施方式,在步骤S304,目标界面显示第一识别结果,包括:在目标界面显示异常图像区域无法正常显示内容的原因信息,其中,原因信息为通过第一神经网络模型对异常图像区域进行识别得到,内容信息包括原因信息。
在该实施例中,在确定出目标标识图像处于遮挡状态之后,可以将目标标识图像输入至上述第一神经网络模型中,通过第一神经网络模型对目标标识图像中的异常图像区域进行识别,并在目标界面上显示异常图像区域无法正常显示内容的原因信息,比如,显示目标标识由遮挡对象故意遮挡的结果或目标标识由遮挡对象非故意遮挡的结果,从而达到了确定标识处于遮挡状态的原因信息的目的,避免了相关技术中使用字符识别系统识别出标识的字符,当识别出的标识的字符数少于该类标识应包含的字符数时,则直接判断故意遮挡标识,而导致误判的结果。
作为一种可选的实施方式,异常图像区域包括目标标识的处于非正常视角的区域,在目标界面上显示目标对象的目标标识的当前状态,包括:在目标界面上显示第二状态信息,其中,第二状态信息用于指示目标标识当前处于非正常视角的状态,非正常视角与第二神经网络模型相对应,第二神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到。
在该实施例中,在目标界面上显示第二状态信息,以指示出目标标识当前处于非正常视角的状态,该非正常视角可以为不能完全正对着呈现出目标标识的视角。在确定出目标标识当前处于非正常视角之后,可以确定用于对处于非正常视角的异常图像区域进行处理的第二神经网络模型,用于训练得到该第二神经网络模型的标识图像样本中的每个标识图像对应的标识处于不同视角,通过标识图像样本中的处于不同视角的标识对应的标识图像和每个标识的标识特征训练得到上述第二神经网络,其中,标识特征可以包括标识的不同字符。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标标识可以为目标车牌,每个标识可以为每个车牌,标识图像样本可以为车牌图像样本,标识特征可以为车牌特征。
作为一种可选的实施方式,在步骤S304,目标界面显示第一识别结果,包括:在目标界面上显示标识的标识特征,其中,标识特征为通过第二神经网络模型对异常图像区域进行识别得到,内容信息包括标识特征。
在该实施例中,在获取目标标识图像之后,可以通过第二神经网络模型对目标标识图像中的异常图像区域进行识别,并在目标界面上显示得到的标识特征,比如,通过第二神经网络模型对应的公式对处于非正常视角的异常图像区域的参数进行处理,得到目标标识的标识特征,可以得到目标标识的全部字符,从而无需对处于非正常视角的目标标识进行校正,仅通过预先训练好的第二神经网络模型对目标标识图像进行处理,就可以得到目标标识的标识特征,简化了对目标标识进行识别的流程,从而提高了对目标标识进行识别的效率。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述标识可以为车牌,标识特征可以为车牌特征。
本发明实施例还提供了另一种数据处理方法。
图4是根据本发明实施例的另一种数据处理方法的流程图。如图4所示,该方法可以包括以下步骤:
步骤S402,获取目标对象的目标标识图像,其中,目标标识图像为对目标对象的第一原始标识图像的边界进行扩展后的图像,且包括无法正常显示内容的异常图像区域。
在本发明上述步骤S402提供的技术方案中,目标对象为需要识别标识的对象。该实施例可以通过图像采集设备来获取目标对象的目标标识图像,该目标标识图像可以为对目标对象的第一原始标识图像的边界进行扩展后的图像,比如,对第一原始标识图像的高度边界进行扩展,可以将第一原始标识图像的高度边界扩展为原来的5倍,得到第二边界中的高度边界,还可以对第一原始标识图像的宽度边界进行扩展,比如,可以将第一原始标识图像的宽度边界扩展为原来的3倍,得到第二边界中的宽度边界,进而以原始标识图像为基准,通过上述第二边界确定目标标识图像,比如,通过上述第二边界中的高度边界和宽度边界在拍摄图像中确定出目标标识图像,该目标标识图像包括了第一原始标识图像,以准确地识别出目标对象是否由遮挡对象故意遮挡,从而提高了对标识进行识别的效率。
该实施例的目标标识图像还可以用于指示出目标标识当前处于遮挡状态,该遮挡状态是指目标标识或对目标标识进行拍摄的设备由于一些因素干扰导致目标标识的字符未完全显示或者存在污损,可以在视觉上看作被遮挡的状态,可以是目标标识当前由遮挡对象进行遮挡,也可以是拍摄时被其它对象遮挡,或者是在抓拍目标标识的图像时没有将标识抓拍全,或是由于摄像头拍摄质量差导致标识不清晰等。
步骤S404,通过神经网络模型对异常图像区域进行识别,得到异常图像区域无法正常显示内容的原因信息。
该实施例的上述步骤S402提供的技术方案中,神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息进行训练得到,可以包括上述步骤S208的方法。
步骤S406,输出原因信息。
该实施例的上述步骤S406提供的技术方案中,可以包括上述步骤S210的方法。其中,原因信息可以为目标标识由遮挡对象故意遮挡的结果或目标标识由遮挡对象非故意遮挡的结果。
该实施例通过上述步骤S402至步骤S406,针对目标对象的目标标识当前处于遮挡状态,通过对目标对象的第一原始标识图像的边界进行扩展得到目标标识图像,基于预先训练好的神经网络模型对目标标识图像的异常图像区域进行自动识别,而神经网络模型是依据标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息进行训练得到的,从而可以自动发现目标对象是否故意遮挡标识违法行为,提高监管效率,避免了由于依赖常规的图像识别技术对车图牌图像直接进行识别,导致对标识识别不准确,从而达到了提高对对象进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标对象可以为目标车辆,目标标识图像可以为目标车牌图像,每个标识可以为每个车牌,标识图像样本可以为车牌图像样本。
本发明实施例还提供了另一种数据处理方法。
图5是根据本发明实施例的另一种数据处理方法的流程图。如图5所示,该方法可以包括以下步骤:
步骤S502,获取目标对象的目标标识图像,其中,目标标识图像用于指示目标对象的目标标识当前处于非正常视角,且包括无法正常显示内容的异常图像区域。
在本发明上述步骤S502提供的技术方案中,目标对象为需要识别标识的对象。该实施例可以通过图像采集设备来获取目标对象的目标标识图像,该目标标识图像用于指示目标对象的目标标识当前处于非正常视角,存在无法正常显示内容的异常图像区域,该非正常视角可以为不能完全正对着呈现出目标标识的视角,比如,为左侧视角、右侧视角、俯视角、仰视角等。
步骤S504,通过神经网络模型对异常图像区域进行识别,得到目标标识的标识特征。
该实施例的上述步骤S504提供的技术方案中,神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到,可以包括上述步骤S204的方法。
步骤S506,输出标识特征。
该实施例的上述步骤S506提供的技术方案中,可以包括上述步骤S206的方法。其中,第一识别结果可以为目标标识的标识特征,比如,为目标车牌的字符。
该实施例通过上述步骤S502至步骤S506,针对目标对象的目标标识当前处于非正常视角,基于预先训练好的神经网络模型对目标标识图像进行自动识别,而神经网络模型是依据标识图像样本和对应的识别结果训练得到的,从而无需对处于非正常视角的目标标识进行校正,仅通过预先训练好的第二神经网络模型对目标标识图像进行处理,就可以得到目标标识的标识特征,简化了对目标标识进行识别的流程,从而达到了提高对对象进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
需要说明的是,上述方法可以应用于车辆的车牌识别中,上述目标对象可以为目标车辆,目标标识图像可以为目标车牌图像,目标标识可以为目标车牌,每个标识可以为每个车牌,标识图像样本可以为车牌图像样本,标识特征可以为车牌字符。
作为一种可选的示例,本发明实施例还提供了一种应用在交易场景中的数据处理方法。该方法可以包括:获取上传至交易平台的目标对象的目标标识图像,其中,目标标识图像包括在交易平台无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过交易平台的标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
在该实施例中,目标对象的目标标识图像为上传至交易平台的商品信息,目标对象为交易平台中需要识别标识的对象,其中,交易平台可以是为用户提供购物服务的购物平台,目标对象可以为需要交易的商品,标识可以为商品在交易平台需要显示的条形码,还可以包括商品的其它属性信息,比如,为商品的品牌、商品的性能参数、商品的尺码等需要在交易平台正常显示出来以供用户参考的信息。该实施例获取上传至交易平台的目标对象的目标标识图像,该目标标识图像可以是通过图像采集设备拍摄得到的,其中包括了无法正常显示内容的异常图像区域,比如,被其它对象遮挡的区域、抓拍不全的区域、图像模糊的区域、处于非正常视角的区域等,其中,图像采集设备可以为摄像头,可以对需要交易的目标对象进行抓拍,从抓拍得到的图像中获取需要进行处理的目标标识图像,比如,该目标标识图像为商品的条形码图像。
在获取上传至交易平台的目标对象的目标标识图像之后,确定目标对象的目标标识的当前状态,该当前状态可以为目标标识本身所处的状态,比如,商品的条形码为其它外界因素对其影响而产生的状态,可以为是否被遮挡的状态,还可以为是否处于正常视角的状态。
在该实施例中,需要交易的目标对象的目标标识处于不同的当前状态,可以对应不同的神经网络模型,该实施例可以基于目标标识的当前状态确定与其相对应的预先训练好的神经网络模型。该神经网络模型可以通过交易平台的标识图像样本和标识图像样本中每个标识图像对应的识别结果进行训练得到,用于对输入的目标对象的标识图像进行识别,其中,标识图像样本可以为不同商品的条形码的图像样本,可以通过条形码图像样本和条形码图像样本中每个条形码对应的识别结果进行训练得到神经网络模型。其中,每个条形码对应的识别结果可以是通过人工标注得到。
可选地,该实施例预先收集大量的条形码图像,得到条形码图像样本,以及获取条形码图像样本中的每个条形码图像对应的识别结果,对初始建立的子神经网络模型进行训练,得到神经网络模型,其中,子神经网络模型可以为初始建立的检测模型,识别结果可以为条形码是否被故意遮挡,从而达到对目标对象的标识进行遮挡检测的目的,或者为条形码的的显示信息等。
在确定与当前状态对应的神经网络模型之后,可以将目标对象在交易平台中无法正常显示内容的异常图像区域输入至预先训练好的与目标标识在交易平台的当前状态对应的神经网络模型中,通过预先训练好的神经网络模型对异常图像区域进行识别处理,得到第一识别结果,该第一识别结果包括异常图像区域内识别出的内容信息,该内容信息可以是异常图像区域所显示的信息,也可以是与显示的信息相关的信息,比如,无法正常显示的原因信息,进而输出上述第一识别结果。
该实施例基于预先训练好的神经网络模型对上传至交易平台中的对象的标识图像中无法正常显示内容的异常图像区域进行自动识别,而神经网络模型与目标对象的目标标识在交易平台的当前状态相对应,是依据标识图像样本和对应的识别结果训练得到的,从而可以达到准确、快速地对对象进行识别的目的,从而达到了提高对对象进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
需要说明的是,该实施例的上述方法可以应用在车牌识别场景和交易场景中,但并不限于该实施例的方法仅用于车牌识别场景和交易场景中,其它任何需要对异常图像区域的内容信息进行识别的场景都在该实施例的范围之内,此次不再一一举例说明。
实施例2
下面结合优选的实施方式对本发明的技术方案进行举例说明,具体分别以对象故意遮挡车牌违法行为的自动发现算法和大角度车牌识别方法进行介绍。
在城市中,通常对车辆的管控要求很多,比如,对大货车的管控要求很多,规定特定道路限制大货车行驶。在车辆违法违规行为时,为了躲避摄像头的拍摄,常用手段是将车牌进行人为遮挡,从而导致摄像头无法识别出车辆的车牌号,进而逃脱监管。
在相关技术中,智能摄像头、智能分析系统,并不支持故意遮挡车牌违法行为的识别。而使用字符识别系统识别出车牌号的字符,当识别出的字符数少于正常情况下该类车牌应包含的字符数时,则判断该车故意遮挡车牌。比如,一辆黄牌货车在正常情况下的车牌号应为7位,当识别出的车牌号字符数小于7位时,则可以判断为遮挡车牌。
上述方法的缺点在于没有考虑车牌字符不全的原因,比如,该车辆在拍摄时被其它车辆遮挡,或者抓拍时没有将车牌图像抓拍全,或由于摄像头拍摄质量差,而导致车牌图像不清晰等的情况下,这种方法会给出错误的报警。
而该实施例可以利用摄像头自动发现故意遮挡车牌这种违法行为,以提高对车辆的监管效率。
图6A是根据本发明实施例的一种故意遮挡车牌违法行为的自动发现算法的流程图。如图6A所示,该方法可以包括以下步骤:
S601,对车辆进行抓拍,得到抓拍图像。
S602,从抓拍图像中提取出车辆小图,表示为M。
S603,通过车辆小图获取扩展车牌区域图P。
该实施例可以基于车牌识别算法,提取出车辆小图M中的车牌区域子图,表示为p,对上述车牌区域子图p进行边界扩展,将宽度扩展为p的原宽度的3倍,将高度扩展为p的原高度的5倍,得到扩展车牌区域图,将其表示为P,其中包括无法正常显示内容的异常图像区域。
S604,将扩展车牌区域图P输入到训练好的神经网络模型C中。
该实施例的神经网络模型可以使用开源软件Pytorch进行训练得到。
S605,通过神经网络模型C对扩展车牌区域图P中的无法正常显示内容的异常图像区域进行处理,得到车牌被故意遮挡的分数S,可以输出该分数S,车牌被故意遮挡或车牌被非故意遮挡。
可选地,该实施例可以通过神经网络模型C对扩展车牌区域图P中的无法正常显示内容的异常图像区域进行处理,可以得到车牌被故意遮挡的分数S,判断S是否大于预先定义的阈值t,当S的值大于预先定义的阈值t时,则判断该车辆的车牌被故意遮挡,并报警。
S606,扩展车牌区域图P会被送入样本标注部分。
由标注人员对是否故意污损进行人工标注,标注结果表示为L,标注完成的样本<P,L>。
该实施例在样本标注部分,有针对性的收集被其它车辆遮挡、抓拍不全、照片模糊导致的误报警样本,通过训练的方式增强神经网络对该类型样本中的无法正常显示内容的异常图像区域的区分能力,从而有效降低误报警,可以达到80%的报警准确率。
S607,将标注完成的样本<P,L>送入至模型训练部分。
通过样本<P,L>进行神经网络模型的迭代训练,进而达到优化神经网络模型C的识别效果。
该实施例通过训练好的神经网络模型对车辆的车牌图像进行识别,得到车牌被故意遮挡的分数,以确定车牌是否被故意遮挡,提高了对车牌进行识别的准确性,进而降低非故意遮挡车牌情况的误报警。
图6B是根据本发明实施例的一种故意遮挡标识的违法行为的应用场景示意图。如图6B所示,将车辆的抓拍图像输入至计算设备中,在该计算设备中,从抓拍图像中提取出车辆小图M,并且计算设备基于车牌识别算法,提取出车辆小图M中的车牌区域子图p,对上述车牌区域子图p进行边界扩展,得到扩展车牌区域图P,其中包括无法正常显示内容的异常图像区域。另外,该实施例的计算设备配置了神经网络模型C,该神经网络模型可以使用开源软件Pytorch,通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息训练得到,可以包括但不限于输入层、卷积层、池化层、输出层等多个网络层。计算设备将扩展车牌区域图P输入到训练好的神经网络模型C中,依次通过输入层、卷积层、池化层、输出层等多个网络层对无法正常显示内容的异常图像区域进行处理,得到车牌被故意遮挡的分数S,可以输出该分数S,还可以输出车牌被故意遮挡或车牌被非故意遮挡的结果,进而计算设备上将车牌被故意遮挡的分数S,或者出车牌被故意遮挡或车牌被非故意遮挡的结果显示在图形用户界面上。
可选地,该实施例的扩展车牌区域图P会被送入样本标注部分,由标注人员对是否故意污损进行人工标注,标注结果表示为L,标注完成的样本<P,L>。通过样本<P,L>进行神经网络模型的迭代训练,进而达到优化神经网络模型C的识别效果。
该实施例通过上述故意遮挡车牌违法行为的自动发现方法可以自动发现目标对象是否故意遮挡标识违法行为,提高监管效率,避免了由于依赖常规的图像识别技术对车图牌图像直接进行识别,导致对标识识别不准确,从而达到了提高对对象进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
在该实施例中,传统的车牌识别方法,往往针对处于正常视角的车牌进行识别,往往需要将处于其它视角的车牌矫正成处于正常视角的车牌,而后进行识别。其中,矫正关键点的提取极其容易受到天气、光照等周围环境因素等影响。一旦矫正关键点选取错误,则将导致矫正失败,进一步导致识别错误,从而存在对处于其它非正常视角下的车牌进行识别的效果欠佳的问题。
图7是根据本发明实施例的一种对处于非正常视角下的车牌进行识别的方法的流程图。如图7所示,该实施例主要分两部分:训练过程和推断过程。其中,训练过程包括以下步骤:
S701,在一定范围内、随机在线生成透射变换矩阵,并采用此变换矩阵对处于正常视角下的车牌图像进行变换得到各种其它视角下的车牌图像,比如,大角度车牌图像1、大角度车牌图像2……大角度车牌图像n。
在该实施例中,对处于正常视角下的车牌图像进行变换得到各种其它视角下的车牌图像,具有无法正常显示内容的异常图像区域。
S702,将所得到各种视角下的车牌图像与原始正常车牌图像组成一个“批图像”,输入至卷积神经网络进行特征提取,得到大角度车牌特征1、大角度车牌特征2……大角度车牌特征n。
S703,采用识别损失函数,监督卷积神经网络的参数训练。
S704,在一个批图像内,将从各个视角下的车牌图像所提取的特征,逼近正常视角下的车牌图像的特征,进而使得卷积神经网络具有识别的角度特征一致性,进而能够对各个视角的车牌图像进行识别更加鲁棒。
推断过程包括以下步骤:
S705,将处于非正常视角下的车牌图像输入至训练好的卷积神经网络,得到车牌特征。
图7B是根据本发明实施例的一种对处于非正常视角下的车牌进行识别的应用场景的示意图。如图7B所示,在计算设备对处于非正常视角下的车牌图像进行处理之前,需要训练卷积神经网络模型,先获取处于正常视角下的车牌图像,在一定范围内、随机在线生成透射变换矩阵,并采用此变换矩阵对处于正常视角下的车牌图像进行变换得到各种其它视角下的大角度车牌图像1、大角度车牌图像2……大角度车牌图像n,这些其它视角下的车牌图像,具有无法正常显示内容的异常图像区域。可以将所得到各种视角下的车牌图像与原始正常车牌图像组成一个“批图像”,输入至卷积神经网络进行特征提取,得到大角度车牌特征1、大角度车牌特征2……大角度车牌特征n,同时采用识别损失函数,监督卷积神经网络的参数训练。在一个批图像内,将从各个视角下的车牌图像所提取的特征,逼近正常视角下的车牌图像的特征,使得卷积神经网络具有识别的角度特征一致性,进而能够对各个视角的车牌图像进行识别更加鲁棒。
在训练好卷积神经网络模型之后,计算设备可以将处于非正常视角下的车牌图像输入至训练好的卷积神经网络,通过卷积神经网络模型对无法正常显示内容的异常图像区域进行识别,从而得到车牌特征,该车牌特征可以为字符。
该实施例通过训练好的神经网络模型对处于非正常视角下的车牌图像进行识别,而无需将其矫正为正常视角的车牌图像,简化了对目标车牌进行识别的流程,从而达到了提高对车牌进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
图8是根据本发明实施例的一种车辆的车牌识别方法的交互界面的示意图。如图8所示,用户可以将对目标车辆进行拍摄得到的处于遮挡状态的车牌图像、处于非正常视角下的车牌图像拖进“添加”文本框,通过点击“车牌识别处理”键,对车牌图像进行识别,最终生成目标车牌由遮挡对象故意遮挡的结果或目标车牌由遮挡对象非故意遮挡的结果,或者目标车牌的车牌特征,从而可以达到准确、快速地对车牌图像进行识别的目的,避免了由于依赖常规的图像识别技术对车图牌图像直接进行识别,导致对车牌识别不准确,或者识别过程繁琐,从而达到了提高对车牌进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
实施例3
根据本发明实施例,还提供了一种用于实施上述图2所示的数据处理方法的数据处理装置。
图9是根据本发明实施例的一种数据处理装置的示意图。如图9所示,该数据处理装置90可以包括:第一获取单元91、第一确定单元92、第二确定单元93、第一识别单元94和第一输出单元95。
第一获取单元91,用于获取目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域。
第一确定单元92,用于确定目标对象的目标标识的当前状态。
第二确定单元93,用于确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到。
第一识别单元94,用于通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息。
第一输出单元95,用于输出第一识别结果。
此处需要说明的是,上述第一获取单元91、第一确定单元92、第二确定单元93、第一识别单元94和第一输出单元95分别对应于实施例1的步骤S202至步骤S210,五个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述图3所示的数据处理方法的数据处理装置。
图10是根据本发明实施例的另一种数据处理装置的示意图。如图10所示,该数据处理装置100可以包括:第一显示单元101和第二显示单元102。
第一显示单元101,用于在目标界面显示目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域。
第二显示单元102,用于在目标界面显示第一识别结果,其中,第一识别结果为通过神经网络模型对异常图像区域进行识别得到,第一识别结果包括异常图像区域内识别出的内容信息,神经网络模型与目标对象的目标标识的当前状态相对应,且通过标识图像样本和对应的识别结果进行训练得到。
此处需要说明的是,上述第一显示单元101和第二显示单元102分别对应于实施例1的步骤S302至步骤S304,两个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述图4所示的数据处理方法的数据处理装置。
图11是根据本发明实施例的另一种数据处理装置的示意图。如图11所示,该数据处理装置110可以包括:第二获取单元111、第二识别单元112和第二输出单元113。
第二获取单元111,用于获取目标对象的目标标识图像,其中,目标标识图像为对目标对象的第一原始标识图像的边界进行扩展后的图像,且包括无法正常显示内容的异常图像区域。
第二识别单元112,用于通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息进行训练得到。
第二输出单元113,用于输出原因信息。
此处需要说明的是,上述第二获取单元111、第二识别单元112和第二输出单元113分别对应于实施例1的步骤S402至步骤S406,三个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例1提供的计算机终端10中。
图12是根据本发明实施例的另一种数据处理装置的示意图。如图12所示,该数据处理装置120可以包括:第三获取单元121、第三识别单元122和第三输出单元123。
第三获取单元121,用于获取目标对象的目标标识图像,其中,目标标识图像用于指示目标对象的目标标识当前处于非正常视角,且包括无法正常显示内容的异常图像区域。
第三识别单元122,用于通过神经网络模型对异常图像区域进行识别,得到目标标识的标识特征,其中,神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到。
第三输出单元123,用于输出标识特征。
此处需要说明的是,上述第三获取单元121、第三识别单元122和第三输出单元123分别对应于实施例1的步骤S502至步骤S506,三个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例4
本发明的实施例可以提供一种移动终端,该移动终端可以是计算机终端群中的任意一个计算机终端设备。
可选地,在本实施例中,上述移动终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述移动终端可以执行应用程序的数据处理方法中以下步骤的程序代码:获取目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
可选地,图13是根据本发明实施例的一种移动终端的结构框图。如图13所示,该移动终端A可以包括:一个或多个(图中仅示出一个)处理器132、存储器134、以及传输装置136。
其中,传输装置,用于传输目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;以及存储器,与传输装置相连接,用于为处理器提供处理以下处理步骤的指令:确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的数据处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至移动终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
可选地,上述处理器还执行如下步骤的程序代码:在通过神经网络模型对异常图像区域进行识别,得到第一识别结果之前,确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型。
可选地,上述处理器还执行如下步骤的程序代码:确定目标标识当前处于遮挡状态;确定与遮挡状态对应的第一神经网络模型,其中,第一神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息训练得到。
可选地,上述处理器还执行如下步骤的程序代码:通过第一神经网络模型对异常图像区域进行识别,得到异常图像区域无法正常显示内容的原因信息,其中,内容信息包括原因信息。
可选地,上述处理器还执行如下步骤的程序代码:通过第一神经网络模型对异常图像区域进行识别,得到第一数值,其中,第一数值用于指示目标标识由遮挡对象故意遮挡的可能性;在第一数值大于第一阈值的情况下,确定原因信息为目标标识由遮挡对象故意遮挡的结果;在第一数值不大于第一阈值的情况下,确定原因信息为目标标识由遮挡对象故意遮挡的结果确定第一识别结果为目标标识由遮挡对象非故意遮挡的结果。
可选地,上述处理器还执行如下步骤的程序代码:通过第一神经网络模型对异常图像区域进行识别,得到第二数值,其中,第二数值用于指示目标标识由遮挡对象非故意遮挡的可能性;在第二数值大于第二阈值的情况下,确定原因信息为目标标识由遮挡对象非故意遮挡的结果;在第二数值不大于第二阈值的情况下,确定第一识别结果为目标标识由遮挡对象故意遮挡的结果确定第一识别结果为目标标识由遮挡对象故意遮挡的结果。
可选地,上述处理器还执行如下步骤的程序代码:在原因信息为目标标识由遮挡对象故意遮挡的结果的情况下,输出提示信息。
可选地,上述处理器还执行如下步骤的程序代码:响应标注操作指令,对目标标识图像进行标注,得到第二识别结果,其中,第二识别结果包括标注的异常图像区域无法正常显示内容的原因信息;通过目标标识图像和第二识别结果调整第一神经网络模型的第一模型参数。
可选地,上述处理器还执行如下步骤的程序代码:在确定与遮挡状态对应的第一神经网络模型之前,获取由遮挡对象非故意遮挡的多个标识图像,并将多个标识图像确定为标识图像样本;获取多个标识图像中的每个标识图像的识别结果,其中,识别结果用于指示对应的标识由遮挡对象故意遮挡;通过标识图像样本和每个标识图像的识别结果对第一子神经网络模型进行训练,得到第一神经网络模型。
可选地,上述处理器还执行如下步骤的程序代码:获取目标对象的拍摄图像;从拍摄图像中识别出目标标识的第一原始标识图像;在目标对象的图像中,对第一原始标识图像的边界进行扩展,得到目标标识图像。
可选地,上述处理器还执行如下步骤的程序代码:获取第一原始标识图像的第一边界,其中,第一边界用于确定第一原始标识图像在拍摄图像中的第一区域;对第一边界进行扩展,得到第二边界,其中,第二边界大于第一边界;以第一原始标识图像为基准,通过第二边界确定目标标识图像,其中,目标标识图像在拍摄图像中的第二区域,包括且大于第一区域。
可选地,上述处理器还执行如下步骤的程序代码:异常图像区域包括目标标识的处于非正常视角的区域,确定目标标识当前处于非正常视角;确定与当前状态对应的神经网络模型,包括:确定与非正常视角对应的第二神经网络模型,其中,第二神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到。
可选地,上述处理器还执行如下步骤的程序代码:通过第二神经网络模型对异常图像区域进行识别,得到目标标识的标识特征,其中,内容信息包括标识特征。
可选地,上述处理器还执行如下步骤的程序代码:在确定与非正常视角对应的第二神经网络模型之前,获取至少一个标识的第二原始标识图像,其中,第二原始标识图像所指示的标识处于正常视角;对第二原始标识图像进行变换,得到多个变换标识图像,其中,每个变换标识图像用于指示标识所处的一个非正常视角;将第二原始标识图像和多个变换标识图像确定为标识图像样本;基于标识图像样本和对应的特征对第二子神经网络模型进行训练,得到第二神经网络模型。
可选地,上述处理器还执行如下步骤的程序代码:将多个变换标识图像与标识的第二原始标识图像组成为目标图像;通过第二子神经网络模型从目标图像中提取出每个变换标识图像的特征和第二原始标识图像的特征,其中,特征包括标识特征;基于每个变换标识图像的特征和第二原始标识图像的特征确定第二神经网络模型的第二模型参数,其中,第二模型参数用于将每个变换标识图像的特征调整至与第二原始标识图像的特征的相似度小于第三阈值的特征;基于第二子神经网络模型和第二模型参数确定第二神经网络模型。
可选地,上述处理器还执行如下步骤的程序代码:基于损失函数调整第二模型参数。
可选地,上述处理器还执行如下步骤的程序代码:基于透射变换矩阵对第二原始标识图像进行变换,得到多个变换标识图像。
作为一种可选的实施方式,处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:在目标界面显示目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;在目标界面显示第一识别结果,其中,第一识别结果为通过神经网络模型对异常图像区域进行识别得到,第一识别结果包括异常图像区域内识别出的内容信息,神经网络模型与目标对象的目标标识的当前状态相对应,且通过标识图像样本和对应的识别结果进行训练得到。
可选地,上述处理器还执行如下步骤的程序代码:在在目标界面显示第一识别结果之前,在目标界面上显示目标对象的目标标识的当前状态,其中,当前状态与神经网络模型相对应。
可选地,上述处理器还执行如下步骤的程序代码:异常图像区域包括目标标识的被遮挡部分的区域,在目标界面上显示第一状态信息,其中,第一状态信息用于指示目标标识当前处于遮挡状态,遮挡状态与第一神经网络模型相对应,第一神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息训练得到。
可选地,上述处理器还执行如下步骤的程序代码:在目标界面显示异常图像区域无法正常显示内容的原因信息,其中,原因信息为通过第一神经网络模型对异常图像区域进行识别得到,内容信息包括原因信息。
可选地,上述处理器还执行如下步骤的程序代码:异常图像区域包括目标标识的处于非正常视角的区域,在目标界面上显示第二状态信息,其中,第二状态信息用于指示目标标识当前处于非正常视角的状态,非正常视角与第二神经网络模型相对应,第二神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到。
可选地,上述处理器还执行如下步骤的程序代码:在目标界面上显示标识的标识特征,其中,标识特征为通过第二神经网络模型对异常图像区域进行识别得到,内容信息包括标识特征。
作为一种可选的实施方式,处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取目标对象的目标标识图像,其中,目标标识图像为对目标对象的第一原始标识图像的边界进行扩展后的图像,且包括无法正常显示内容的异常图像区域;通过神经网络模型对异常图像区域进行识别,得到异常图像区域无法正常显示内容的原因信息,其中,神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息进行训练得到;输出原因信息。
作为一种可选的实施方式,处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取目标对象的目标标识图像,其中,目标标识图像用于指示目标对象的目标标识当前处于非正常视角,且包括无法正常显示内容的异常图像区域;通过神经网络模型对异常图像区域进行识别,得到目标标识的标识特征,其中,神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到;输出标识特征。
作为一种可选的实施方式,处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取上传至交易平台的目标对象的目标标识图像,其中,目标标识图像包括在交易平台无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过交易平台的标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
采用本发明实施例,提供了一种数据处理方法,基于预先训练好的神经网络模型对对象的标识图像中无法正常显示内容的异常图像区域进行自动识别,而神经网络模型与目标对象的目标标识的当前状态相对应,是依据标识图像样本和对应的识别结果训练得到的,从而可以达到准确、快速地对对象进行识别的目的,避免了由于依赖常规的图像识别技术对对象的标识直接进行识别,导致对标识识别不准确,或者识别过程繁琐,从而达到了提高对对象进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
本领域普通技术人员可以理解,图13所示的结构仅为示意,移动终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图13其并不对上述移动终端的结构造成限定。例如,移动终端A还可包括比图13中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图13所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例5
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例1所提供的数据处理方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果;输出第一识别结果。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在通过神经网络模型对异常图像区域进行识别,得到第一识别结果之前,确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:确定目标标识当前处于遮挡状态;确定与遮挡状态对应的第一神经网络模型,其中,第一神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息训练得到。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:通过第一神经网络模型对异常图像区域进行识别,得到异常图像区域无法正常显示内容的原因信息,其中,内容信息包括原因信息。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:通过第一神经网络模型对异常图像区域进行识别,得到第一数值,其中,第一数值用于指示目标标识由遮挡对象故意遮挡的可能性;在第一数值大于第一阈值的情况下,确定原因信息为目标标识由遮挡对象故意遮挡的结果;在第一数值不大于第一阈值的情况下,确定原因信息为目标标识由遮挡对象故意遮挡的结果确定第一识别结果为目标标识由遮挡对象非故意遮挡的结果。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:通过第一神经网络模型对异常图像区域进行识别,得到第二数值,其中,第二数值用于指示目标标识由遮挡对象非故意遮挡的可能性;在第二数值大于第二阈值的情况下,确定原因信息为目标标识由遮挡对象非故意遮挡的结果;在第二数值不大于第二阈值的情况下,确定第一识别结果为目标标识由遮挡对象故意遮挡的结果确定第一识别结果为目标标识由遮挡对象故意遮挡的结果。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在原因信息为目标标识由遮挡对象故意遮挡的结果的情况下,输出提示信息。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:响应标注操作指令,对目标标识图像进行标注,得到第二识别结果,其中,第二识别结果包括标注的异常图像区域无法正常显示内容的原因信息;通过目标标识图像和第二识别结果调整第一神经网络模型的第一模型参数。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在确定与遮挡状态对应的第一神经网络模型之前,获取由遮挡对象非故意遮挡的多个标识图像,并将多个标识图像确定为标识图像样本;获取多个标识图像中的每个标识图像的识别结果,其中,识别结果用于指示对应的标识由遮挡对象故意遮挡;通过标识图像样本和每个标识图像的识别结果对第一子神经网络模型进行训练,得到第一神经网络模型。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取目标对象的拍摄图像;从拍摄图像中识别出目标标识的第一原始标识图像;在目标对象的图像中,对第一原始标识图像的边界进行扩展,得到目标标识图像。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取第一原始标识图像的第一边界,其中,第一边界用于确定第一原始标识图像在拍摄图像中的第一区域;对第一边界进行扩展,得到第二边界,其中,第二边界大于第一边界;以第一原始标识图像为基准,通过第二边界确定目标标识图像,其中,目标标识图像在拍摄图像中的第二区域,包括且大于第一区域。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:异常图像区域包括目标标识的处于非正常视角的区域,确定目标标识当前处于非正常视角;确定与非正常视角对应的第二神经网络模型,其中,第二神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:通过第二神经网络模型对异常图像区域进行识别,得到目标标识的标识特征,其中,内容信息包括标识特征。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在确定与非正常视角对应的第二神经网络模型之前,获取至少一个标识的第二原始标识图像,其中,第二原始标识图像所指示的标识处于正常视角;对第二原始标识图像进行变换,得到多个变换标识图像,其中,每个变换标识图像用于指示标识所处的一个非正常视角;将第二原始标识图像和多个变换标识图像确定为标识图像样本;基于标识图像样本和对应的特征对第二子神经网络模型进行训练,得到第二神经网络模型。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:将多个变换标识图像与标识的第二原始标识图像组成为目标图像;通过第二子神经网络模型从目标图像中提取出每个变换标识图像的特征和第二原始标识图像的特征,其中,特征包括标识特征;基于每个变换标识图像的特征和第二原始标识图像的特征确定第二神经网络模型的第二模型参数,其中,第二模型参数用于将每个变换标识图像的特征调整至与第二原始标识图像的特征的相似度小于第三阈值的特征;基于第二子神经网络模型和第二模型参数确定第二神经网络模型。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:基于损失函数调整第二模型参数。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:基于透射变换矩阵对第二原始标识图像进行变换,得到多个变换标识图像。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在目标界面显示目标对象的目标标识图像,其中,目标标识图像包括无法正常显示内容的异常图像区域;在目标界面显示第一识别结果,其中,第一识别结果为通过神经网络模型对异常图像区域进行识别得到,第一识别结果包括异常图像区域内识别出的内容信息,神经网络模型与目标对象的目标标识的当前状态相对应,且通过标识图像样本和对应的识别结果进行训练得到。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在在目标界面显示第一识别结果之前,在目标界面上显示目标对象的目标标识的当前状态,其中,当前状态与神经网络模型相对应。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:异常图像区域包括目标标识的被遮挡部分的区域,在目标界面上显示第一状态信息,其中,第一状态信息用于指示目标标识当前处于遮挡状态,遮挡状态与第一神经网络模型相对应,第一神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息进行训练得到。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在目标界面显示异常图像区域无法正常显示内容的原因信息,其中,原因信息为通过第一神经网络模型对异常图像区域进行识别得到,内容信息包括原因信息。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:异常图像区域包括目标标识的处于非正常视角的区域,在目标界面上显示第二状态信息,其中,第二状态信息用于指示目标标识当前处于非正常视角的状态,非正常视角与第二神经网络模型相对应,第二神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在目标界面上显示标识的标识特征,其中,标识特征为通过第二神经网络模型对异常图像区域进行识别得到,内容信息包括标识特征。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取目标对象的目标标识图像,其中,目标标识图像为对目标对象的第一原始标识图像的边界进行扩展后的图像,且包括无法正常显示内容的异常图像区域;通过神经网络模型对异常图像区域进行识别,得到异常图像区域无法正常显示内容的原因信息,其中,神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个标识对应的异常图像区域无法正常显示内容的原因信息进行训练得到;输出原因信息。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取目标对象的目标标识图像,其中,目标标识图像用于指示目标对象的目标标识当前处于非正常视角,且包括无法正常显示内容的异常图像区域;通过神经网络模型对异常图像区域进行识别,得到目标标识的标识特征,其中,神经网络模型为通过每个标识处于不同视角的标识图像样本和每个标识的标识特征进行训练得到;输出标识特征。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取上传至交易平台的目标对象的目标标识图像,其中,目标标识图像包括在交易平台无法正常显示内容的异常图像区域;确定目标对象的目标标识的当前状态;确定与当前状态对应的神经网络模型,其中,神经网络模型为通过交易平台的标识图像样本和对应的识别结果进行训练得到;通过神经网络模型对异常图像区域进行识别,得到第一识别结果,其中,第一识别结果包括异常图像区域内识别出的内容信息;输出第一识别结果。
采用本发明实施例,提供了一种数据处理方法,基于预先训练好的神经网络模型对对象的标识图像中无法正常显示内容的异常图像区域进行自动识别,而神经网络模型与目标对象的目标标识的当前状态相对应,是依据标识图像样本和对应的识别结果训练得到的,从而可以达到准确、快速地对对象进行识别的目的,避免了由于依赖常规的图像识别技术对对象的标识直接进行识别,导致对标识识别不准确,或者识别过程繁琐,从而达到了提高对对象进行识别的效率的技术效果,进而解决了降低对对象进行识别的效率低的技术问题。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (36)

1.一种数据处理方法,其特征在于,包括:
获取目标对象的目标标识图像,其中,所述目标标识图像包括无法正常显示内容的异常图像区域;
确定所述目标对象的目标标识的当前状态;
确定与所述当前状态对应的神经网络模型,其中,所述神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;
通过所述神经网络模型对所述异常图像区域进行识别,得到第一识别结果,其中,所述第一识别结果包括所述异常图像区域内识别出的内容信息;
输出所述第一识别结果。
2.根据权利要求1所述的方法,其特征在于,所述异常图像区域包括所述目标标识的被遮挡部分的区域,
确定所述目标对象的目标标识的当前状态,包括:确定所述目标标识当前处于遮挡状态;
确定与所述当前状态对应的神经网络模型,包括:确定与所述遮挡状态对应的第一神经网络模型,其中,所述第一神经网络模型为通过每个标识处于所述遮挡状态的所述标识图像样本和每个所述标识对应的异常图像区域无法正常显示内容的原因信息训练得到。
3.根据权利要求2所述的方法,其特征在于,通过神经网络模型对所述异常图像区域进行识别,得到第一识别结果,包括:
通过所述第一神经网络模型对所述异常图像区域进行识别,得到所述异常图像区域无法正常显示内容的原因信息,其中,所述内容信息包括所述原因信息。
4.根据权利要求3所述的方法,其特征在于,通过所述第一神经网络模型对所述异常图像区域进行识别,得到所述异常图像区域无法正常显示内容的原因信息,包括:
通过所述第一神经网络模型对所述异常图像区域进行识别,得到第一数值,其中,所述第一数值用于指示所述目标标识由遮挡对象故意遮挡的可能性;
在所述第一数值大于第一阈值的情况下,确定所述原因信息为所述目标标识由所述遮挡对象故意遮挡的结果;
在所述第一数值不大于所述第一阈值的情况下,确定所述原因信息为所述目标标识由所述遮挡对象非故意遮挡的结果。
5.根据权利要求3所述的方法,其特征在于,通过所述第一神经网络模型对所述异常图像区域进行识别,得到所述异常图像区域无法正常显示内容的原因信息,包括:
通过所述第一神经网络模型对所述异常图像区域进行识别,得到第二数值,其中,所述第二数值用于指示所述目标标识由遮挡对象非故意遮挡的可能性;
在所述第二数值大于第二阈值的情况下,确定所述原因信息为所述目标标识由所述遮挡对象非故意遮挡的结果;
在所述第二数值不大于所述第二阈值的情况下,确定所述原因信息为所述目标标识由所述遮挡对象故意遮挡的结果。
6.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述原因信息为所述目标标识由遮挡对象故意遮挡的结果的情况下,输出提示信息。
7.根据权利要求3所述的方法,其特征在于,所述方法还包括:
响应标注操作指令,对所述目标标识图像进行标注,得到第二识别结果,其中,所述第二识别结果包括标注的所述异常图像区域无法正常显示内容的原因信息;
通过所述目标标识图像和所述第二识别结果调整所述第一神经网络模型的第一模型参数。
8.根据权利要求2所述的方法,其特征在于,在确定与所述遮挡状态对应的第一神经网络模型之前,所述方法还包括:
获取由遮挡对象非故意遮挡的多个标识图像,并将所述多个标识图像确定为所述标识图像样本;
获取所述多个标识图像中的每个所述标识图像的识别结果,其中,所述识别结果用于指示对应的所述标识由所述遮挡对象故意遮挡;
通过所述标识图像样本和每个所述标识图像的识别结果对第一子神经网络模型进行训练,得到所述第一神经网络模型。
9.根据权利要求1所述的方法,其特征在于,获取目标对象的目标标识图像,包括:
获取所述目标对象的拍摄图像;
从所述拍摄图像中识别出所述目标标识的第一原始标识图像;
在所述目标对象的图像中,对所述第一原始标识图像的边界进行扩展,得到所述目标标识图像。
10.根据权利要求9所述的方法,其特征在于,在所述目标对象的图像中,对所述第一原始标识图像的边界进行扩展,得到所述目标标识图像,包括:
获取所述第一原始标识图像的第一边界,其中,所述第一边界用于确定所述第一原始标识图像在所述拍摄图像中的第一区域;
对所述第一边界进行扩展,得到第二边界,其中,所述第二边界大于所述第一边界;
以所述第一原始标识图像为基准,通过所述第二边界确定所述目标标识图像,其中,所述目标标识图像在所述拍摄图像中的第二区域,包括且大于所述第一区域。
11.根据权利要求1所述的方法,其特征在于,所述异常图像区域包括所述目标标识的处于非正常视角的区域,
确定所述目标对象的目标标识的当前状态,包括:确定所述目标标识当前处于非正常视角;
确定与所述当前状态对应的神经网络模型,包括:确定与所述非正常视角对应的第二神经网络模型,其中,所述第二神经网络模型为通过每个标识处于不同视角的所述标识图像样本和每个所述标识的标识特征进行训练得到。
12.根据权利要求11所述的方法,其特征在于,通过神经网络模型对所述异常图像区域进行识别,得到第一识别结果,包括:
通过所述第二神经网络模型对所述异常图像区域进行识别,得到所述目标标识的标识特征,其中,所述内容信息包括所述标识特征。
13.根据权利要求11所述的方法,其特征在于,在确定与所述非正常视角对应的第二神经网络模型之前,所述方法还包括:
获取至少一个标识的第二原始标识图像,其中,所述第二原始标识图像所指示的所述标识处于正常视角;
对所述第二原始标识图像进行变换,得到多个变换标识图像,其中,每个所述变换标识图像用于指示所述标识所处的一个非正常视角;
将所述第二原始标识图像和所述多个变换标识图像确定为所述标识图像样本;
基于所述标识图像样本和对应的特征对第二子神经网络模型进行训练,得到所述第二神经网络模型。
14.根据权利要求13所述的方法,其特征在于,基于所述标识图像样本和对应的特征对第二子神经网络模型进行训练,得到所述第二神经网络模型,包括:
将所述多个变换标识图像与所述标识的第二原始标识图像组成为目标图像;
通过所述第二子神经网络模型从所述目标图像中提取出每个所述变换标识图像的特征和所述第二原始标识图像的特征;
基于每个所述变换标识图像的特征和所述第二原始标识图像的特征确定所述第二神经网络模型的第二模型参数,其中,所述第二模型参数用于将每个所述变换标识图像的特征调整至与所述第二原始标识图像的特征的相似度小于第三阈值的特征;
基于所述第二子神经网络模型和所述第二模型参数确定所述第二神经网络模型。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
基于损失函数调整所述第二模型参数。
16.根据权利要求13所述的方法,其特征在于,对所述第二原始标识图像进行变换,得到多个变换标识图像,包括:
基于透射变换矩阵对所述第二原始标识图像进行变换,得到多个所述变换标识图像。
17.根据权利要求1至16中任意一项所述的方法,其特征在于,所述目标对象为目标车辆,所述目标标识图像为目标车牌图像,所述标识图像样本为车牌图像样本。
18.一种数据处理方法,其特征在于,包括:
在目标界面显示目标对象的目标标识图像,其中,所述目标标识图像包括无法正常显示内容的异常图像区域;
在所述目标界面显示第一识别结果,其中,所述第一识别结果为通过神经网络模型对所述异常图像区域进行识别得到,所述第一识别结果包括所述异常图像区域内识别出的内容信息,所述神经网络模型与所述目标对象的目标标识的当前状态相对应,且通过标识图像样本和对应的识别结果进行训练得到。
19.根据权利要求18所述的方法,其特征在于,在所述目标界面显示第一识别结果之前,所述方法还包括:
在所述目标界面上显示所述目标对象的目标标识的当前状态,其中,所述当前状态与所述神经网络模型相对应。
20.根据权利要求19所述的方法,其特征在于,所述异常图像区域包括所述目标标识的被遮挡部分的区域,在所述目标界面上显示所述目标对象的目标标识的当前状态,包括:
在所述目标界面上显示第一状态信息,其中,所述第一状态信息用于指示所述目标标识当前处于遮挡状态,所述遮挡状态与第一神经网络模型相对应,所述第一神经网络模型为通过每个标识处于所述遮挡状态的所述标识图像样本和每个所述标识对应的异常图像区域无法正常显示内容的原因信息训练得到。
21.根据权利要求20所述的方法,其特征在于,在所述目标界面显示第一识别结果,包括:
在所述目标界面显示所述异常图像区域无法正常显示内容的原因信息,其中,所述原因信息为通过所述第一神经网络模型对所述异常图像区域进行识别得到,所述内容信息包括所述原因信息。
22.根据权利要求19所述的方法,其特征在于,所述异常图像区域包括所述目标标识的处于非正常视角的区域,在所述目标界面上显示所述目标对象的目标标识的当前状态,包括:
在所述目标界面上显示第二状态信息,其中,所述第二状态信息用于指示所述目标标识当前处于非正常视角的状态,所述非正常视角与第二神经网络模型相对应,所述第二神经网络模型为通过每个标识处于不同视角的所述标识图像样本和每个所述标识的标识特征进行训练得到。
23.根据权利要求22所述的方法,其特征在于,在所述目标界面显示第一识别结果,包括:
在所述目标界面上显示所述标识的标识特征,其中,所述标识特征为通过所述第二神经网络模型对所述异常图像区域进行识别得到,所述内容信息包括所述标识特征。
24.根据权利要求18至23中任意一项所述的方法,其特征在于,所述目标对象为目标车辆,所述目标标识图像为目标车牌图像,所述标识图像样本为车牌图像样本。
25.一种数据处理方法,其特征在于,包括:
获取目标对象的目标标识图像,其中,所述目标标识图像为对所述目标对象的第一原始标识图像的边界进行扩展后的图像,且包括无法正常显示内容的异常图像区域;
通过神经网络模型对所述异常图像区域进行识别,得到所述异常图像区域无法正常显示内容的原因信息,其中,所述神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个所述标识对应的异常图像区域无法正常显示内容的原因信息进行训练得到;
输出所述原因信息。
26.根据权利要求25所述的方法,其特征在于,所述目标对象为目标车辆,所述目标标识图像为目标车牌图像,所述标识图像样本为车牌图像样本。
27.一种数据处理方法,其特征在于,包括:
获取目标对象的目标标识图像,其中,所述目标标识图像用于指示所述目标对象的目标标识当前处于非正常视角,且包括无法正常显示内容的异常图像区域;
通过神经网络模型对所述异常图像区域进行识别,得到所述目标标识的标识特征,其中,所述神经网络模型为通过每个标识处于不同视角的所述标识图像样本和每个所述标识的标识特征进行训练得到;
输出所述标识特征。
28.根据权利要求27所述的方法,其特征在于,所述目标对象为目标车辆,所述目标标识图像为目标车牌图像,所述标识图像样本为车牌图像样本,所述标识特征为车牌特征。
29.一种数据处理方法,其特征在于,包括:
获取上传至交易平台的目标对象的目标标识图像,其中,所述目标标识图像包括在所述交易平台无法正常显示内容的异常图像区域;
确定所述目标对象的目标标识的当前状态;
确定与所述当前状态对应的神经网络模型,其中,所述神经网络模型为通过所述交易平台的标识图像样本和对应的识别结果进行训练得到;
通过所述神经网络模型对所述异常图像区域进行识别,得到第一识别结果,其中,所述第一识别结果包括所述异常图像区域内识别出的内容信息;
输出所述第一识别结果。
30.一种数据处理装置,其特征在于,包括:
第一获取单元,用于获取目标对象的目标标识图像,其中,所述目标标识图像包括无法正常显示内容的异常图像区域;
第一确定单元,用于确定所述目标对象的目标标识的当前状态;
第二确定单元,用于确定与所述当前状态对应的神经网络模型,其中,所述神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;
第一识别单元,用于通过所述神经网络模型对所述异常图像区域进行识别,得到第一识别结果,其中,所述第一识别结果包括所述异常图像区域内识别出的内容信息;
第一输出单元,用于输出所述第一识别结果。
31.一种数据处理装置,其特征在于,包括:
第一显示单元,用于在目标界面显示目标对象的目标标识图像,其中,所述目标标识图像包括无法正常显示内容的异常图像区域;
第二显示单元,用于在所述目标界面显示第一识别结果,其中,所述第一识别结果为通过神经网络模型对所述异常图像区域进行识别,所述第一识别结果包括所述异常图像区域内识别出的内容信息,所述神经网络模型与所述目标对象的目标标识的当前状态相对应,且通过标识图像样本和对应的识别结果进行训练得到。
32.一种数据处理装置,其特征在于,包括:
第二获取单元,用于获取目标对象的目标标识图像,其中,所述目标标识图像为对所述目标对象的第一原始标识图像的边界进行扩展后的图像,且包括无法正常显示内容的异常图像区域;
第二识别单元,用于通过神经网络模型对所述异常图像区域进行识别,得到所述异常图像区域无法正常显示内容的原因信息,其中,所述神经网络模型为通过每个标识处于遮挡状态的标识图像样本和每个所述标识对应的异常图像区域无法正常显示内容的原因信息进行训练得到;
第二输出单元,用于输出所述原因信息。
33.一种数据处理装置,其特征在于,包括:
第三获取单元,用于获取目标对象的目标标识图像,其中,所述目标标识图像用于指示所述目标对象的目标标识当前处于非正常视角,且包括无法正常显示内容的异常图像区域;
第三识别单元,用于通过神经网络模型对所述异常图像区域进行识别,得到所述目标标识的标识特征,其中,所述神经网络模型为通过每个标识处于不同视角的所述标识图像样本和每个所述标识的标识特征进行训练得到;
第三输出单元,用于输出所述标识特征。
34.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行以下步骤:
获取目标对象的目标标识图像,其中,所述目标标识图像包括无法正常显示内容的异常图像区域;
确定所述目标对象的目标标识的当前状态;
确定与所述当前状态对应的神经网络模型,其中,所述神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;
通过神经网络模型对所述异常图像区域进行识别,得到第一识别结果,其中,所述第一识别结果包括所述异常图像区域内识别出的内容信息;
输出所述第一识别结果。
35.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行以下步骤:
获取目标对象的目标标识图像,其中,所述目标标识图像包括无法正常显示内容的异常图像区域;
确定所述目标对象的目标标识的当前状态;
确定与所述当前状态对应的神经网络模型,其中,所述神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;
通过所述神经网络模型对所述异常图像区域进行识别,得到第一识别结果,其中,所述第一识别结果包括异常图像区域内识别出的内容信息;
输出所述第一识别结果。
36.一种移动终端,其特征在于,包括:
处理器;
传输装置,用于传输目标对象的目标标识图像,其中,所述目标标识图像包括无法正常显示内容的异常图像区域;以及
存储器,与所述传输装置相连接,用于为所述处理器提供处理以下处理步骤的指令:确定所述目标对象的目标标识的当前状态;确定与所述当前状态对应的神经网络模型,其中,所述神经网络模型为通过标识图像样本和对应的识别结果进行训练得到;通过所述神经网络模型对所述异常图像区域进行识别,得到第一识别结果,其中,所述第一识别结果包括异常图像区域内识别出的内容信息;输出所述第一识别结果。
CN202010214458.2A 2020-03-24 2020-03-24 数据处理方法、装置、存储介质和处理器 Pending CN113449545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010214458.2A CN113449545A (zh) 2020-03-24 2020-03-24 数据处理方法、装置、存储介质和处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010214458.2A CN113449545A (zh) 2020-03-24 2020-03-24 数据处理方法、装置、存储介质和处理器

Publications (1)

Publication Number Publication Date
CN113449545A true CN113449545A (zh) 2021-09-28

Family

ID=77806575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010214458.2A Pending CN113449545A (zh) 2020-03-24 2020-03-24 数据处理方法、装置、存储介质和处理器

Country Status (1)

Country Link
CN (1) CN113449545A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067279A (zh) * 2022-01-17 2022-02-18 江西字母表科技有限公司 一种限制空间下的人员对象监管方法、装置及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067279A (zh) * 2022-01-17 2022-02-18 江西字母表科技有限公司 一种限制空间下的人员对象监管方法、装置及系统

Similar Documents

Publication Publication Date Title
CN112381775B (zh) 一种图像篡改检测方法、终端设备及存储介质
CN106845890B (zh) 一种基于视频监控的仓储监控方法及装置
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN111126153B (zh) 基于深度学习的安全监测方法、系统、服务器及存储介质
CN109344864B (zh) 用于密集物体的图像处理方法及装置
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN112633313A (zh) 一种网络终端的不良信息识别方法及局域网终端设备
CN115035539B (zh) 文档异常检测网络模型构建方法、装置、电子设备及介质
CN110602446A (zh) 垃圾回收提醒方法、系统及存储介质
CN112560649A (zh) 一种行为动作检测方法、系统、设备及介质
CN114627394B (zh) 一种基于无人机的渣土车套牌识别方法及系统
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN113449545A (zh) 数据处理方法、装置、存储介质和处理器
CN109919164B (zh) 用户界面对象的识别方法及装置
CN111898540A (zh) 车道线检测方法、装置、计算机设备及计算机可读存储介质
CN111402185B (zh) 一种图像检测方法及装置
CN110660000A (zh) 数据预测方法、装置、设备及计算机可读存储介质
CN111597896B (zh) 异常人脸的识别方法、识别装置、识别设备和存储介质
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置
CN111860100B (zh) 行人数量的确定方法、装置、电子设备及可读存储介质
CN115063594B (zh) 一种基于自动驾驶的特征提取方法及装置
CN113469138A (zh) 对象检测方法和装置、存储介质及电子设备
CN115272208A (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
CN114511872A (zh) 模型处理方法、装置、存储介质及计算机设备
KR20230050150A (ko) 조감도 영상 기반 안전지대 차선 인식 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40059947

Country of ref document: HK