CN111598053B - 图像数据的处理方法及其装置、介质和系统 - Google Patents
图像数据的处理方法及其装置、介质和系统 Download PDFInfo
- Publication number
- CN111598053B CN111598053B CN202010552646.6A CN202010552646A CN111598053B CN 111598053 B CN111598053 B CN 111598053B CN 202010552646 A CN202010552646 A CN 202010552646A CN 111598053 B CN111598053 B CN 111598053B
- Authority
- CN
- China
- Prior art keywords
- sample
- data
- image data
- image
- random number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000005070 sampling Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 30
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及数据处理技术领域,特别涉及一种图像数据的处理方法及其装置、介质和系统。本申请的图像数据的处理方法包括:获取待抽取的目标数据库,其中,当前写入目标数据库的数据标识为i,i为正整数;基于目标数据库,通过以下方式获得样本容量为n的样本图像数据集,n为正整数:将数据标识i与样本容量n进行比较;在数据标识i小于等于样本容量n的情况下,确定数据标识为i的数据为样本图像数据集中的数据;在数据标识i大于样本容量n的情况下,根据样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定数据标识为i的数据是否为样本图像数据集中的数据。
Description
技术领域
本申请涉及数据处理技术领域,特别涉及一种图像数据的处理方法及其装置、介质和系统。
背景技术
随着通信技术以及互联网络技术等的发展,人们在日常生活中每天都会产生大量的数据(例如视频监控、视频会议、网络直播、网络电话等等产生的大量的数据)。数据从简单的处理对象开始转变为一种基础性资源,网络中产生的大量的数据给数据存储、管理以及数据分析带来了极大的挑战。如何更好地管理和利用这些大量的数据已经成为普遍关注的话题。
通常在需要对特定数据做数据特征分析时,需要用到统计学方法。例如,通过数据采样,得到数据样本,针对数据样本做分析,可以大大降低数据分析的数据处理量。统计学中的抽样方法分为概率抽样和非概率抽样,对于现有的一些抽样方法,例如简单随机抽样、系统抽样、分层抽样、以及整群抽样等,这些抽样方法用于应对固定容量的数据集,且数据集容量不易过大,无法满足用户对源源不断地增加数据的数据集进行抽样的需求。
发明内容
本申请实施例提供了一种图像数据的处理方法及其装置、介质和系统。
本申请通过比较当前写入存储有待抽取图像数据的数据库的数据标识和样本容量的大小,来创建样本图像数据集。具体地,将当前写入目标数据库的数据标识i与样本图像数据集的样本容量n进行比较;当i小于等于n时,确定目标数据库中数据标识为i的数据为样本图像数据集中的数据;当i大于n时,根据样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据,其中,随机数发生器生成的随机数r大于等于0,小于1。例如,样本容量n和数据标识i的比值大于随机数发生器生成的随机数r的情况下,采用简单随机抽样的方法从样本图像数据集中抽取一例数据丢弃,并且将目标数据库中数据标识为i的数据放入样本图像数据集中;在样本容量n和数据标识i的比值小于随机数发生器生成的随机数r的情况下,样本容量为n的样本图像数据集中的数据保持不变。然后用与以上相同的方法继续判断第i+1例数据是否被放入样本图像数据集中。如此,相比较于相关技术中只能对固定容量的抽样全体进行简单随机抽样,或者用固定的概率对样本全体进行抽样的技术方案,本方案可以对图像数据量不断变化并且数据量较大的图像数据全体,实现快速均匀抽样,实时得到一个能够覆盖图像数据全体的且不断更新的特定容量的简单随机抽样的图像数据样本。可以满足用户对于有源源不断的图像数据产生的图像处理场景下(例如视频监控),实时快速获取能够均匀覆盖图像数据全体的特定容量的图像数据样本的需求。
第一方面,本申请实施例提供了一种图像数据的处理方法,包括:获取待抽取的目标数据库,目标数据库中存储有待抽取的图像数据,其中,当前写入目标数据库的数据标识为i,i为正整数;基于目标数据库,通过以下方式获得样本容量为n的样本图像数据集,n为正整数:将当前写入目标数据库的数据标识i与样本图像数据集的样本容量n进行比较;在数据标识i小于等于样本图像数据集的样本容量n的情况下,确定目标数据库中数据标识为i的数据为样本图像数据集中的数据;在数据标识i大于样本图像数据集的样本容量n的情况下,根据样本图像数据集的样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据,其中,随机数发生器生成的随机数r大于等于0,小于1。
在上述第一方面的一种可能的实现中,上述方法还包括:样本图像数据集被存储在目标数据库中,并且目标数据库中存储有对应于样本图像数据集中的每一个样本数据的标签信息。
在上述第一方面的一种可能的实现中,上述方法还包括:样本图像数据集被存储在样本数据库中,样本数据库的容量为n。
在上述第一方面的一种可能的实现中,上述方法还包括:根据样本图像数据集的样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据,包括:
在样本图像数据集的样本容量n和数据标识i的比值大于随机数发生器生成的随机数r的情况下,采用简单随机抽样的方法从样本图像数据集中抽取一例数据丢弃,并且将目标数据库中数据标识为i的数据放入样本图像数据集中;
在样本图像数据集的样本容量n和数据标识i的比值小于随机数发生器生成的随机数r的情况下,样本容量为n的样本图像数据集中的数据保持不变。
在上述第一方面的一种可能的实现中,上述方法还包括:图像数据包括图像的清晰度以及图像中待处理目标的比例中的至少一种;
在图像的清晰度大于设定清晰度阈值的情况下,或者,在图像中待处理目标的比例大于设定比例阈值的情况下,确定图像为待抽取的图像。
第二方面,本申请实施例提供了一种数据处理装置,包括:
数据获取模块,用于获取待抽取的目标数据库,目标数据库中存储有待抽取的图像数据,其中,当前写入目标数据库的数据标识为i,i为正整数;
样本确定模块,用于基于目标数据库,通过以下方式获得样本容量为n的样本图像数据集,n为正整数:
将当前写入目标数据库的数据标识i与样本图像数据集的样本容量n进行比较;
在数据标识i小于等于样本图像数据集的样本容量n的情况下,确定目标数据库中数据标识为i的数据为样本图像数据集中的数据;
在数据标识i大于样本图像数据集的样本容量n的情况下,根据样本图像数据集的样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据,其中,随机数发生器生成的随机数r大于等于0,小于1。
在上述第二方面的一种可能的实现中,上述装置还包括:样本图像数据集被存储在目标数据库中,并且目标数据库中存储有对应于样本图像数据集中的每一个样本数据的标签信息。
在上述第二方面的一种可能的实现中,上述装置还包括:样本图像数据集被存储在样本数据库中,样本数据库的容量为n。
在上述第二方面的一种可能的实现中,上述装置还包括:样本确定模块通过以下方式,根据样本图像数据集的样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据:
在样本图像数据集的样本容量n和数据标识i的比值大于随机数发生器生成的随机数r的情况下,采用简单随机抽样的方法从样本图像数据集中抽取一例数据丢弃,并且将目标数据库中数据标识为i的数据放入样本图像数据集中;
在样本图像数据集的样本容量n和数据标识i的比值小于随机数发生器生成的随机数r的情况下,样本容量为n的样本图像数据集中的数据保持不变。
在上述第二方面的一种可能的实现中,图像数据包括图像的清晰度以及图像中待处理目标的比例中的至少一种;上述装置还包括:预处理模块,用于在图像的清晰度大于设定清晰度阈值的情况下,或者,在图像中待处理目标的比例大于设定比例阈值的情况下,确定图像为待抽取的图像。
第三方面,本申请实施例提供了一种机器可读介质,机器可读介质上存储有指令,该指令在机器上执行时使机器执行第一方面以及第一方面可能的各实现中的图像数据的处理方法。
第四方面,本申请实施例提供了一种系统,包括:
存储器,用于存储由系统的一个或多个处理器执行的指令,以及
处理器,是系统的处理器之一,用于执行第一方面以及第一方面可能的各实现中的图像数据的处理方法。
附图说明
图1根据本申请的一些实施例,示出了一种采用本申请提供的图像数据的处理方法对商店的人流进行数据分析的场景图;
图2根据本申请的一些实施例,示出了一种图像数据的处理方法的流程图;
图3根据本申请的一些实施例,示出了一种图像数据的处理装置的结构框图;
图4根据本申请的一些实施例,示出了一种系统的框图;
图5根据本申请的一些实施例,示出了一种片上系统(SoC)的框图。
具体实施方式
本申请的说明性实施例包括但不限于一种图像数据的处理方法及其装置、介质和系统。
本申请通过比较当前写入存储有待抽取图像数据的数据库的数据标识和样本容量的大小,来创建样本图像数据集。具体地,将当前写入目标数据库的数据标识i与样本图像数据集的样本容量n进行比较;当i小于等于n时,确定目标数据库中数据标识为i的数据为样本图像数据集中的数据;当i大于n时,根据样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据,其中,随机数发生器生成的随机数r大于等于0,小于1。
例如,样本容量n和数据标识i的比值大于随机数发生器生成的随机数r的情况下,采用简单随机抽样的方法从样本图像数据集中抽取一例数据丢弃,并且将目标数据库中数据标识为i的数据放入样本图像数据集中;在样本容量n和数据标识i的比值小于随机数发生器生成的随机数r的情况下,样本容量为n的样本图像数据集中的数据保持不变。然后用与以上相同的方法继续判断第i+1例数据是否被放入样本图像数据集中。
如此,相比较于相关技术中只能对固定容量的抽样全体进行简单随机抽样,或者用固定的概率对样本全体进行抽样的技术方案,本方案可以对图像数据量不断变化并且数据量较大的图像数据全体,实现快速均匀抽样,实时得到一个能够覆盖图像数据全体的且不断更新的特定容量的简单随机抽样的图像数据样本。可以满足用户对于有源源不断的图像数据产生的图像处理场景下(例如视频监控),实时快速获取能够均匀覆盖图像数据全体的特定容量的图像数据样本的需求。
可以理解,如本文所使用的,术语“模块”可以指代或者包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件,或者可以作为这些硬件组件的一部分。
可以理解,在本申请各实施例中,处理器可以是微处理器、数字信号处理器、微控制器等,和/或其任何组合。根据另一个方面,所述处理器可以是单核处理器,多核处理器等,和/或其任何组合。
下面将结合附图对本申请的实施例作进一步地详细描述。
图1根据本申请的一些实施例,示出了一种采用本申请提供的图像数据的处理方法对进入商店的人员进行数据分析的场景图。在图1所示的场景中,包括商店、商店里安装的图像采集设备101(如摄像头)以及电子设备100。电子设备100与图像采集设备101连接。其中,图像采集设备101用于对该商店进行监控,获得监控图像,并向电子设备100发送采集到的大量的监控图像。例如,摄像头101可以实时向电子设备100发送采集到的该商店内来往顾客的图像。可以理解,摄像头101被启动后,可以实时生成大量新的图像。例如,在半年之内,摄像头101采集到顾客A的10张图像,采集到顾客B的1000张图像,采集到清洁工C的200张图像。摄像头101将采集到的这些图像发送给电子设备100,电子设备100在接收到前述图像后,可以通过三维卷积神经网络模型进行图像的特征提取,并且将提出的图像的特征数据储存在图像特征数据库中。电子设备100可以通过对存储在图像特征数据库中的图像特征数据进行抽样,对抽取的样本数据进行分析,以对商店中的来往人员进行统计。
可以理解,摄像头101被启动后,实时采集到大量新的图像。电子设备100相应地可以对接收到的新的图像(此处新的图像是指电子设备100不断地通过摄像头101拍摄到的新的画面)同样进行特征提取,并且将提取的新的图像的特征数据存储在图像的特征数据库中。为了能够对商店中来往人员进行准确的分析,电子设备100可以根据预设的规则实时维护创建的样本数据。
例如,在一些实施例中,如果用户想要通过电子设备100对该摄像头101采集到的图像创建一个大小为100张图像的图像样本池,当电子设备100判断该图像样本池为空(即图像样本池中未放入图像)的时候,可以将其接收到的前100张图像全部放入该图像样本池中。当电子设备100判断该图像样本池已满的时候,例如图像样本池中已放入100张图像,可以根据图像样本池的图像容量(即100)和当前写入电子设备100的图像数据库的图像的标号的比值,与电子设备100通过随机数发生器生成的随机数r的大小,确定当前写入电子设备100的图像数据库的图像是否被放入图像样本池中。例如,当前写入电子设备100的图像数据库的图像的标号为1000,图像样本池的图像容量为100,电子设备100通过随机数发生器生成的随机数r为1/15,则100/1000大于1/15,采用简单随机抽样的方法从已经满量的图像样本池中随机抽取一张图像丢弃,将标号为1000的图像放入图像样本池中,实现对图像样本池的更新,并维持图像样本池中图像的数量保持不变。再例如,当前写入电子设备100的图像数据库的图像的标号为2000,图像样本池的图像容量为100,电子设备100通过随机数发生器生成的随机数r为1/16,则100/2000小于1/16,则标号为1000的图像不被放入图像样本池中,图像样本池中的图像保持不变。如此,可以保证图像样本池中的样本图像不断被更新。相比较于固定概率的抽样方法,例如抽样比例为1/10,则随着电子设备100接收到的图像的数量的变化,获得的样本池的大小也不断发生变化,当获取的图像数量特别大的时候(例如上亿张图像),需要维护的图像样本池大小就要随着变的特别大,这样一来给工程开发人员带来极大不便。本方案可以对图像数据量不断变化并且数据量较大的图像数据全体,实现快速均匀抽样,实时得到一个能够覆盖图像数据全体的且不断更新的特定容量的简单随机抽样的图像数据样本。可以满足用户对于有源源不断的图像数据产生的图像处理场景下(例如视频监控),实时快速获取能够均匀覆盖图像数据全体的特定容量的图像数据样本的需求。
此外,可以理解的是,在一些实施例中,在创建图像样本池中时,电子设备100可以首先对其接收到的图像进行预处理。例如,对图像的清晰度、图像中的人像比例等进行分析,提取出图像的清晰度、图像中的人像比例信息。在图像的清晰度大于设定清晰度阈值的情况下,或者,在图像中的人像比例大于设定比例阈值的情况下,确定图像为电子设备100中待抽取的图像。如此,可以对待抽取的图像进行预先过滤,满足不同用户对于创建不同的图像样本池的个性化需求。
可以理解,图1所示的电子设备100包括但不限于,小型计算电子设备(如图像处理盒子等)、服务器、手机、平板电脑、膝上型计算机、台式计算机、个人数字助理、虚拟现实或者增强现实设备、其中嵌入或耦接有一个或多个处理器的电视机等等。
可以理解,在另一些实施例中,图1所示的场景可以包括比图示实施例更多或更少的设备或部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。
图2根据本申请的一些实施例,示出了一种图像数据的处理方法的流程图。如图2所示,具体地,包括:
1)获取待抽取的目标数据库,目标数据库中存储有待抽取的图像数据,其中,当前写入目标数据库的数据标识为i,i为正整数(202)。比如,道路两边安装的摄像头实时监控行人信息和车辆信息。商场安装的摄像头实时监控往来顾客情况。通过摄像头实时获取图像信息,在提取图像相关特征后,建立图像特征数据库,这种类型的数据库数据容量非常大且源源不断有数据写入,可以通过分析相应的图像特征数据库中的数据对监控图像进行分析。
在一些实施例中,通过摄像机等设备采集现场的视频信号,上传至监控中心,监控中心和前端采集设备组成一套完整的本地化监控系统,可完成本地的视频实时监视、云镜控制、报警处理等功能。通过将摄像机等设备采集的视频信号进行特征提取,转换成计算机可以识别和操作的数据,再进一步实现对视频特征数据进行分析,可以实现信息挖掘。
2)判断当前写入目标数据库的数据标识i是否大于样本图像数据集的样本容量n(204)。
3)当写入目标数据库的数据标识i小于等于样本图像数据集的样本容量n时,确定目标数据库中数据标识为i的数据为样本图像数据集中的数据(206)。
在一些实施例中,样本图像数据集可以被存储在单独的样本数据库中。在一些实施例中,目标数据库中可以存储有对应于样本图像数据集中的每一个样本数据的标签信息。可以将确定出的样本数据打上特定的标签,以和其他数据进行区分。
例如,在一些实施例中,目标数据库为图像特征数据库,在视频监控场景下,图像特征数据库源源不断的有图像特征数据写入,为了对监控获取的图像进行分析,可以针对图像特征数据创建样本容量为n的样本图像数据集。若当前写入图像特征数据库的数据标识为i,则当i小于等于n时,确定图像特征数据库中数据标识为i的图像特征数据为样本图像数据集中的数据。
4)当写入目标数据库的数据标识i小于等于样本图像数据集的样本容量n时,根据样本图像数据集的样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据,其中,随机数发生器生成的随机数r大于等于0,小于1(208)。
例如,在一些实施例中,目标数据库为图像特征数据库,在视频监控场景下,图像特征数据库源源不断的有图像特征数据写入,为了对监控获取的图像进行分析,可以针对图像特征数据创建样本容量为n的样本图像数据集。当图像特征数据库的数据标识i大于样本图像数据集的样本容量n时,在样本图像数据集的样本容量n和图像特征数据库的数据标识i的比值大于随机数发生器生成的随机数r的情况下,采用简单随机抽样的方法从样本图像数据集中抽取一例数据丢弃,并且将图像特征数据库数据标识为i的数据放入样本图像数据集。在采用简单随机抽样方式选取被丢弃的特征数据时,样本图像数据集中的每一例数据都有相同的被抽样的概率,随机抽取1个数据,按1/n的比例随机抽样,则图样本图像数据集中的每个数据都有1/n的机会被抽取到。在样本图像数据集的样本容量n和图像特征数据库的数据标识i的比值小于随机数发生器生成的随机数r的情况下,样本图像数据集中的数据保持不变。
图3根据本申请的一些实施例,示出了一种数据处理装置300的结构框图。如图3所示,具体地,包括:
数据获取模块302,用于获取待抽取的目标数据库,目标数据库中存储有待抽取的图像数据,其中,当前写入目标数据库的数据标识为i,i为正整数;
样本确定模块304,用于基于目标数据库,通过以下方式获得样本容量为n的样本图像数据集,n为正整数:其中,样本图像数据集可以被存储在目标数据库中,并且目标数据库中存储有对应于样本图像数据集中的每一个样本数据的标签信息。样本图像数据集也可以被存储在单独的样本数据库中,样本数据库的容量为n。
样本确定模块可以通过以下方式,根据样本图像数据集的样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据:
在样本图像数据集的样本容量n和数据标识i的比值大于随机数发生器生成的随机数r的情况下,采用简单随机抽样的方法从样本图像数据集中抽取一例数据丢弃,并且将目标数据库中数据标识为i的数据放入样本图像数据集中;
在样本图像数据集的样本容量n和数据标识i的比值小于随机数发生器生成的随机数r的情况下,样本容量为n的样本图像数据集中的数据保持不变。
将当前写入目标数据库的数据标识i与样本图像数据集的样本容量n进行比较;
在数据标识i小于等于样本图像数据集的样本容量n的情况下,确定目标数据库中数据标识为i的数据为样本图像数据集中的数据;
在数据标识i大于样本图像数据集的样本容量n的情况下,根据样本图像数据集的样本容量n和数据标识i的比值与随机数发生器生成的随机数r的大小,确定目标数据库中数据标识为i的数据是否为样本图像数据集中的数据,其中,随机数发生器生成的随机数r大于等于0,小于1。
在一些实施例中,目标数据库中存储的待抽取的图像数据包括图像的清晰度以及图像中待处理目标的比例中的至少一种。图像数据的处理装置还包括预处理模块,用于在图像的清晰度大于设定清晰度阈值的情况下,或者,在图像中待处理目标的比例大于设定比例阈值的情况下,确定图像为待抽取的图像。
可以理解,图3所示的数据处理装置300与本申请提供的图像数据的处理方法相对应,以上关于本申请提供的图像数据的处理方法的具体描述中的技术细节依然适用于图3所示的数据处理装置300,具体描述请参见上文,在此不再赘述。
图4所示为根据本申请的一些实施例的系统400的框图。图4示意性地示出了根据多个实施例的示例系统400。在一些实施例中,系统400可以包括一个或多个处理器404,与处理器404中的至少一个连接的系统控制逻辑408,与系统控制逻辑408连接的系统内存412,与系统控制逻辑408连接的非易失性存储器(NVM)416,以及与系统控制逻辑408连接的网络接口420。
在一些实施例中,处理器404可以包括一个或多个单核或多核处理器。在一些实施例中,处理器404可以包括通用处理器和专用处理器(例如,图形处理器,应用处理器,基带处理器等)的任意组合。
在一些实施例中,系统控制逻辑408可以包括任意合适的接口控制器,以向处理器404中的至少一个和/或与系统控制逻辑408通信的任意合适的设备或组件提供任意合适的接口。
在一些实施例中,系统控制逻辑408可以包括一个或多个存储器控制器,以提供连接到系统内存412的接口。系统内存412可以用于加载以及存储数据和/或指令。在一些实施例中系统400的内存412可以包括任意合适的易失性存储器,例如合适的动态随机存取存储器(DRAM)。
NVM/存储器416可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中,NVM/存储器416可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备,例如HDD(Hard Disk Drive,硬盘驱动器),CD(Compact Disc,光盘)驱动器,DVD(Digital Versatile Disc,数字通用光盘)驱动器中的至少一个。
NVM/存储器416可以包括安装系统400的装置上的一部分存储资源,或者它可以由设备访问,但不一定是设备的一部分。例如,可以经由网络接口420通过网络访问NVM/存储416。
特别地,系统内存412和NVM/存储器416可以分别包括:指令424的暂时副本和永久副本。指令424可以包括:由处理器404中的至少一个执行时导致系统400实施如图2所示的图像数据的处理方法的指令。在一些实施例中,指令424、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑408,网络接口420和/或处理器404中。
网络接口420可以包括收发器,用于为系统400提供无线电接口,进而通过一个或多个网络与任意其他合适的设备(如前端模块,天线等)进行通信。在一些实施例中,网络接口420可以集成于系统400的其他组件。例如,网络接口420可以集成于处理器404,系统内存412,NVM/存储器416,和具有指令的固件设备(未示出)中的至少一种,当处理器404中的至少一个执行指令时,系统400实现如图2所示的图像数据的处理方法。
网络接口420可以进一步包括任意合适的硬件和/或固件,以提供多输入多输出无线电接口。例如,网络接口420可以是网络适配器,无线网络适配器,电话调制解调器和/或无线调制解调器。
在一个实施例中,处理器404中的至少一个可以与用于系统控制逻辑408的一个或多个控制器的逻辑封装在一起,以形成系统封装(SiP)。在一个实施例中,处理器404中的至少一个可以与用于系统控制逻辑408的一个或多个控制器的逻辑集成在同一管芯上,以形成片上系统(SoC)。
系统400可以进一步包括:输入/输出(I/O)设备432。I/O设备432可以包括用户界面,使得用户能够与系统400进行交互;外围组件接口的设计使得外围组件也能够与系统400交互。在一些实施例中,系统400还包括传感器,用于确定与系统400相关的环境条件和位置信息的至少一种。
根据本申请的实施例,图5示出了一种片上系统(System on Chip,SoC)500的框图。在图5中,相似的部件具有同样的附图标记。另外,虚线框是更先进的SoC的可选特征。在图5中,SoC500包括:互连单元550,其被耦合至应用处理器510;系统代理单元570;总线控制器单元580;集成存储器控制器单元540;一组或一个或多个协处理器520,其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器;静态随机存取存储器(Static RandomAccess Memory,SRAM)单元530;直接存储器存取(Direct Memory Access,DMA)单元560。在一个实施例中,协处理器520包括专用处理器,诸如网络或通信处理器、压缩引擎、GPU、高吞吐量MIC处理器、或嵌入式处理器等等。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码,该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令,以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理系统包括具有诸如数字信号处理器(Digital Signal Processing,DSP)、微控制器、专用集成电路(Application Specific Integrated Circuit,ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现,以便与处理系统通信。在需要时,也可用汇编语言或机器语言来实现程序代码。事实上,本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Randomaccess memory,RAM)、可擦除可编程只读存储器(Erasable Programmable Read OnlyMemory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory,EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
需要说明的是,本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块,在物理上,一个逻辑单元/模块可以是一个物理单元/模块,也可以是一个物理单元/模块的一部分,还可以以多个物理单元/模块的组合实现,这些逻辑单元/模块本身的物理实现方式并不是最重要的,这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外,为了突出本申请的创新部分,本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入,这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是,在本申请的示例和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
Claims (10)
1.一种图像数据的处理方法,其特征在于,所述方法包括:
获取待抽取的目标数据库,所述目标数据库中存储有待抽取的图像数据,其中,当前写入所述目标数据库的数据标识为i,i为正整数;
基于所述目标数据库,通过以下方式获得样本容量为n的样本图像数据集,n为正整数:
将当前写入所述目标数据库的所述数据标识i与所述样本图像数据集的样本容量n进行比较;
在所述数据标识i小于等于所述样本图像数据集的样本容量n的情况下,确定所述目标数据库中数据标识为i的数据为所述样本图像数据集中的数据;
在所述数据标识i大于所述样本图像数据集的样本容量n的情况下,根据所述样本图像数据集的样本容量n和所述数据标识i的比值与随机数发生器生成的随机数r的大小,确定所述目标数据库中数据标识为i的数据是否为所述样本图像数据集中的数据,其中,所述随机数发生器生成的所述随机数r大于等于0,小于1;
所述根据所述样本图像数据集的样本容量n和所述数据标识i的比值与随机数发生器生成的随机数r的大小,确定所述目标数据库中数据标识为i的数据是否为所述样本图像数据集中的数据,包括:
在所述样本图像数据集的样本容量n和所述数据标识i的比值大于所述随机数发生器生成的随机数r的情况下,采用简单随机抽样的方法从所述样本图像数据集中抽取一例数据丢弃,并且将所述目标数据库中数据标识为i的数据放入所述样本图像数据集中;
在所述样本图像数据集的样本容量n和所述数据标识i的比值小于所述随机数发生器生成的随机数r的情况下,所述样本容量为n的样本图像数据集中的数据保持不变。
2.根据权利要求1所述的图像数据的处理方法,其特征在于,所述样本图像数据集被存储在所述目标数据库中,并且所述目标数据库中存储有对应于所述样本图像数据集中的每一个样本数据的标签信息。
3.根据权利要求1所述的图像数据的处理方法,其特征在于,所述样本图像数据集被存储在样本数据库中,所述样本数据库的容量为n。
4.根据权利要求1所述的图像数据的处理方法,其特征在于,还包括:所述图像数据包括图像的清晰度以及图像中待处理目标的比例中的至少一种;
在所述图像的清晰度大于设定清晰度阈值的情况下,或者,在所述图像中待处理目标的比例大于设定比例阈值的情况下,确定所述图像为待抽取的图像。
5.一种图像数据的处理装置,其特征在于,所述装置包括:
数据获取模块,用于获取待抽取的目标数据库,所述目标数据库中存储有待抽取的图像数据,其中,当前写入所述目标数据库的数据标识为i,i为正整数;
样本确定模块,用于基于所述目标数据库,通过以下方式获得样本容量为n的样本图像数据集,n为正整数:
将当前写入所述目标数据库的所述数据标识i与所述样本图像数据集的样本容量n进行比较;
在所述数据标识i小于等于所述样本图像数据集的样本容量n的情况下,确定所述目标数据库中数据标识为i的数据为所述样本图像数据集中的数据;
在所述数据标识i大于所述样本图像数据集的样本容量n的情况下,根据所述样本图像数据集的样本容量n和所述数据标识i的比值与随机数发生器生成的随机数r的大小,确定所述目标数据库中数据标识为i的数据是否为所述样本图像数据集中的数据,其中,所述随机数发生器生成的所述随机数r大于等于0,小于1;
所述样本确定模块通过以下方式,根据所述样本图像数据集的样本容量n和所述数据标识i的比值与随机数发生器生成的随机数r的大小,确定所述目标数据库中数据标识为i的数据是否为所述样本图像数据集中的数据:
在所述样本图像数据集的样本容量n和所述数据标识i的比值大于所述随机数发生器生成的随机数r的情况下,采用简单随机抽样的方法从所述样本图像数据集中抽取一例数据丢弃,并且将所述目标数据库中数据标识为i的数据放入所述样本图像数据集中;
在所述样本图像数据集的样本容量n和所述数据标识i的比值小于所述随机数发生器生成的随机数r的情况下,所述样本容量为n的样本图像数据集中的数据保持不变。
6.根据权利要求5所述的图像数据的处理装置,其特征在于,所述样本图像数据集被存储在所述目标数据库中,并且所述目标数据库中存储有对应于所述样本图像数据集中的每一个样本数据的标签信息。
7.根据权利要求5所述的图像数据的处理装置,其特征在于,所述样本图像数据集被存储在样本数据库中,所述样本数据库的容量为n。
8.根据权利要求5所述的图像数据的处理装置,其特征在于,所述图像数据包括图像的清晰度以及图像中待处理目标的比例中的至少一种;所述图像数据的处理装置还包括预处理模块,用于在所述图像的清晰度大于设定清晰度阈值的情况下,或者,在所述图像中待处理目标的比例大于设定比例阈值的情况下,确定所述图像为待抽取的图像。
9.一种机器可读介质,其特征在于,所述机器可读介质上存储有指令,该指令在机器上执行时使机器执行权利要求1至4中任一项所述的图像数据的处理方法。
10.一种系统,其特征在于,包括:
存储器,用于存储由系统的一个或多个处理器执行的指令,以及
处理器,是系统的处理器之一,用于执行权利要求1至4中任一项所述的图像数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010552646.6A CN111598053B (zh) | 2020-06-17 | 2020-06-17 | 图像数据的处理方法及其装置、介质和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010552646.6A CN111598053B (zh) | 2020-06-17 | 2020-06-17 | 图像数据的处理方法及其装置、介质和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111598053A CN111598053A (zh) | 2020-08-28 |
CN111598053B true CN111598053B (zh) | 2024-02-27 |
Family
ID=72186202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010552646.6A Active CN111598053B (zh) | 2020-06-17 | 2020-06-17 | 图像数据的处理方法及其装置、介质和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111598053B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019096008A1 (zh) * | 2017-11-20 | 2019-05-23 | 腾讯科技(深圳)有限公司 | 身份识别方法、计算机设备及存储介质 |
CN111291641A (zh) * | 2020-01-20 | 2020-06-16 | 上海依图网络科技有限公司 | 图像识别方法及其装置、计算机可读介质和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8005949B2 (en) * | 2008-12-01 | 2011-08-23 | At&T Intellectual Property I, Lp | Variance-optimal sampling-based estimation of subset sums |
-
2020
- 2020-06-17 CN CN202010552646.6A patent/CN111598053B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019096008A1 (zh) * | 2017-11-20 | 2019-05-23 | 腾讯科技(深圳)有限公司 | 身份识别方法、计算机设备及存储介质 |
CN111291641A (zh) * | 2020-01-20 | 2020-06-16 | 上海依图网络科技有限公司 | 图像识别方法及其装置、计算机可读介质和系统 |
Non-Patent Citations (1)
Title |
---|
黎娅 ; 郭江娜 ; .基于数据挖掘的启发式抽样方法研究.微计算机信息.2009,(12),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111598053A (zh) | 2020-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109117714B (zh) | 一种同行人员识别方法、装置、系统及计算机存储介质 | |
CN109858371B (zh) | 人脸识别的方法及装置 | |
US20200167314A1 (en) | System and method for concepts caching using a deep-content-classification (dcc) system | |
CN112329702B (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
CN106663196A (zh) | 视频中的计算机显著人物识别 | |
WO2022237397A1 (zh) | 图像真伪检测方法、装置、计算机设备和存储介质 | |
CN109977832B (zh) | 一种图像处理方法、装置及存储介质 | |
Su et al. | A novel forgery detection algorithm for video foreground removal | |
CN111027450A (zh) | 银行卡信息识别方法、装置、计算机设备及存储介质 | |
CN113496208B (zh) | 视频的场景分类方法及装置、存储介质、终端 | |
Thai et al. | Camera model identification based on DCT coefficient statistics | |
CN110991231B (zh) | 活体检测方法、装置、服务器和人脸识别设备 | |
CN111401206A (zh) | 一种全景图共享方法、系统、设备和介质 | |
CN107770487B (zh) | 一种特征提取并优选的方法、系统及终端设备 | |
CN114973057A (zh) | 基于人工智能的视频图像检测方法及相关设备 | |
CN112906671B (zh) | 面审虚假图片识别方法、装置、电子设备及存储介质 | |
CN111310531A (zh) | 图像分类方法、装置、计算机设备及存储介质 | |
CN114049658A (zh) | 基于人脸识别的流动人口管理方法、装置、计算机设备和存储介质 | |
CN111369557B (zh) | 图像处理方法、装置、计算设备和存储介质 | |
CN111598053B (zh) | 图像数据的处理方法及其装置、介质和系统 | |
CN115984977A (zh) | 活体检测方法和系统 | |
CN108875770B (zh) | 行人检测误报数据的标注方法、装置、系统和存储介质 | |
CN113065619A (zh) | 数据处理方法、装置、计算机可读存储介质及设备 | |
CN106714007A (zh) | 一种视频摘要方法及装置 | |
CN111985423A (zh) | 活体检测方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |