CN110717484B

CN110717484B - 一种图像处理方法和系统

Info

Publication number: CN110717484B
Application number: CN201910962922.3A
Authority: CN
Inventors: 张凯隆
Original assignee: Alipay Hangzhou Information Technology Co Ltd
Current assignee: Alipay Hangzhou Information Technology Co Ltd
Priority date: 2019-10-11
Filing date: 2019-10-11
Publication date: 2021-07-27
Anticipated expiration: 2039-10-11
Also published as: CN110717484A; TW202115604A; WO2021068628A1; TWI793418B

Abstract

本说明书提供了一种图像处理方法和系统。所述方法包括：第一处理设备获取图像数据；第一处理设备在预设时长内对所述图像数据进行第一处理，得到第一结果；所述第一结果包括在预设时长内执行第一处理获得的结果和/或在预设时长内执行第一处理的进度信息；第一处理设备将所述第一处理结果发送给第二处理设备，以便第二处理设备基于所述第一结果进行与所述图像数据相关的后续处理；第二处理设备获取所述第一结果；第二处理设备基于所述第一结果，进行与所述图像数据相关的后续处理。

Description

一种图像处理方法和系统

技术领域

本说明书涉及图像领域，特别涉及一种确定图像文本内容的方法和系统。

背景技术

随着互联网技术的快速发展，人们生活的方方面面都已经离不开互联网。但由于互联网中的信息内容来源复杂，有必要通过风险识别技术手段来识别信息内容中的风险，从而保障在互联网使用过程中的安全。这其中包括了对图像携带的文本信息的风险识别。目前，对图像携带文本信息的风险识别工作需要较大的计算力支撑，因此这部分工作目前还主要依赖于处理能力更强的服务器端，给服务器端带来了较大的计算压力。

因此，有必要提供一种图像处理方法，减轻图像检测与识别过程中服务器端承载的计算压力。

发明内容

本说明书实施例之一提供一种图像处理方法，所述方法由第一处理设备执行。所述方法包括：获取图像数据；在预设时长内对所述图像数据进行第一处理，得到第一结果；所述第一结果包括在预设时长内执行第一处理获得的结果和/或在预设时长内执行第一处理的进度信息；以及将所述第一结果发送给第二处理设备，以便第二处理设备基于所述第一结果进行与所述图像数据相关的后续处理。

本说明书另一实施例提供一种图像处理系统。所述系统包括：图像获取模块，用于获取图像数据；第一处理模块，用于在预设时长内对所述图像数据进行第一处理，得到第一结果；所述第一结果包括在预设时长内执行第一处理获得的结果和/或在预设时长内执行第一处理的进度信息；传送模块，用于将所述第一结果发送给第二处理设备，以便第二处理设备基于所述第一结果进行与所述图像数据相关的后续处理。

本说明书另一实施例提供一种图像处理装置。所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现上述图像处理方法。

本说明书另一实施例提供又一种图像处理方法，所述方法由第二处理设备执行。所述方法包括：获取第一结果；所述第一结果为第一处理设备在预设时长内对图像数据进行第一处理得到；所述第一结果包括在预设时长内第一处理设备执行第一处理获得的结果和/或在预设时长内第一处理设备执行第一处理的进度信息；基于所述第一结果，进行与所述图像数据相关的后续处理。

本说明书另一实施例提供又一种图像处理系统。所述系统包括：获取模块，用于获取第一结果；所述第一结果为第一处理设备在预设时长内对图像数据进行第一处理得到；所述第一结果包括在预设时长内第一处理设备执行第一处理获得的结果和/或在预设时长内第一处理设备执行第一处理的进度信息；后续处理模块，用于基于所述第一结果，进行与所述图像数据相关的后续处理。

本说明书另一实施例提供又一种图像处理装置。所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现上述图像处理方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的一个示例性图像处理系统的应用场景图；

图2是根据本说明书一些实施例所示的图像处理方法的示例性流程图；

图3是根据本说明书一些实施例所示的一个示例性图像处理系统的框图；

图4是根据本说明书一些实施例所示的另一个示例性图像处理系统的框图；

图5是根据本说明书一些实施例所示的第一处理设备执行的图像处理方法的示例性流程图；以及

图6是根据本说明书一些实施例所示的第二处理设备执行的图像处理方法的示例性流程图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的一个示例性图像处理系统的应用场景图。

图像处理系统100包括两个能够进行图像处理的处理设备：第一处理设备和第二处理设备。先由第一处理设备进行图像处理，再由第二处理设备接着进行后续处理，得到最终的图像处理结果。由于两个处理设备之间可协同进行图像处理，因此可以将处理压力分配给两个处理设备，避免只用单个处理设备造成处理设备压力过大。图像处理系统100可以应用于各种可能涉及图像处理的场景，例如各类应用程序中涉及的图像处理场景，应用程序可以包括社交类应用程序、支付类应用程序、拍照类应用程序、资讯类应用程序、购物类应用程序及各种小程序等。如图1所示，该图像处理系统100可以包括服务器110、网络120、终端130以及存储设备140。

服务器110可以作为所述第二处理设备，用来接收来自图像处理系统100的至少一个其他组件的数据和/或信息，和/或向其他组件发送数据和/或信息。例如，服务器110可以获取来自终端130和/或存储设备140中的图像数据。服务器110可以用来处理来自图像处理系统100的至少一个组件的数据和/或信息。例如，服务器110可以接收来自终端130的图像处理结果和/或来存储设备140的图像数据，并根据终端130的图像处理结果进行后续处理。仅作为示例，终端130的处理结果表明终端130未完成对图像中文字的检测和识别，则服务器110可以继续进行图像的检测与识别处理。又例如，终端130的处理结果表明终端130已完成对图像中文字的检测和识别，则服务器110还可以根据终端130的处理结果直接进行风险识别。

在一些实施例中，服务器110可以是单个处理设备，也可以是处理设备组。处理设备组可以是经由接入点连接到网络120的集中式处理设备组，或者经由至少一个接入点分别连接到网络120的分布式处理设备组。在一些实施例中，服务器110可以本地连接到网络120或者与网络120远程连接。例如，服务器110可以经由网络120访问存储在终端130和/或存储设备140中的信息和/或数据。又例如，存储设备140可以用作服务器110的后端数据存储器。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，服务器110可以包括处理设备112。处理设备112可以处理与本说明书中描述的至少一个功能相关的信息和/或数据。在一些实施例中，处理设备112可以执行图像处理系统100的主要功能。例如，处理设备112可以对图像进行文本检测与识别，以确定图像中的文本内容。在一些实施例中，处理设备112可包括至少一个处理单元(例如，单核处理设备或多核处理设备)。仅作为示例，处理设备112包括中央处理单元(CPU)、专用集成电路(ASIC)、专用应用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可程序门阵列(FPGA)、可程序逻辑设备(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等，或其任意组合。

网络120可以促进信息和/或数据的交换。在一些实施例中，图像处理系统100中的至少一个组件(例如，服务器110、终端130、存储设备140)可以经由网络120将信息和/或数据发送到图像处理系统100中的其他组件。例如，服务器110可以经由网络120从存储设备140获得图像数据。又例如，服务器110完成图像检测与识别后，可以经由网络120将识别结果发送至终端130。

在一些实施例中，网络120可以为任意形式的有线或无线网络，或其任意组合。仅作为示例，网络120可以包括缆线网络、有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共开关电话网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络等或其任意组合。在一些实施例中，网络120可以包括至少一个网络接入点。例如，网络120可以包括有线或无线网络接入点，如基站和/或互联网交换点120-1、120-2、……，通过图像处理系统100的至少一个部件可以连接到网络120以交换数据和/或信息。

用户可通过终端130接入图像处理系统100。在一些实时中，终端130可以作为所述第一处理设备。终端130可以通过各种方式获取图像数据，并对图像数据进行文字检测与识别。这些图像数据可以上传至服务器110或存储设备140，文字检测与识别结果可以发送至服务器110进行后续处理。例如，终端130可以通过图像采集组件(如摄像头)获取图像数据。在一些实施例中，用户通过终端130拍摄图像后通过网络将图像数据上传至服务器110或存储设备140。又例如，终端130可以从网上获取各种图像数据。例如，当用户通过终端130浏览网络信息时，可以获取网络中发布的图像信息。在一些实施例中，当用户通过终端130与其他用户的终端进行交流时，可以获取其他用户通过其终端发出的图像信息。

终端130可以对获取到的图像数据进行文字检测与识别。在一些实施例中，终端130可以采用光学字符识别技术对图像数据进行文字检测与识别。在一些实施例中，终端130上部署有深度学习引擎，用于执行文本检测和文本识别。

终端130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3等，或其任何组合。在一些实施例中，移动设备130-1可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等，或其任意组合。在一些实施例中，该可穿戴设备可包括智能手环、智能鞋袜、智能眼镜、智能头盔、智能手表、智能衣服、智能背包、智能配件等或其任意组合。在一些实施例中，智能移动设备可以包括智能电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强型虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁等或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括GoogleGlass^TM、OculusRift^TM、Hololens^TM或GearVR^TM等。

存储设备140可以储存数据和/或指令。例如，可以存储终端130获取并发送来的图像数据等。在一些实施例中，存储设备140可以存储处理设备112可以执行的数据和/或指令，服务器110可以通过执行或使用所述数据和/或指令以实现本说明书描述的示例性方法。在一些实施例中，存储设备140可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取存储器(RAM)。示例性RAM可包括动态随机存取存储器(DRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性只读存储器可以包括掩模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(PEROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。在一些实施例中，所述存储设备140可在云平台上实现。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，存储设备140可以集成在服务器110中。在另一些实施例中，存储设备140可以集成在不同于服务器110的另一服务器中。例如，存储设备140可以部署在可用于存储图像数据的图像服务器上，终端130可以将获取到的图像数据发送到所述图像服务器进行同步存储，服务器110可以从所述图像服务器处获取图像数据。

应当注意的是，上述有关图像处理系统100的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对图像处理系统100进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图2是根据本说明书一些实施例所示的图像处理方法的示例性流程图。在一些实施例中，图2中所示的流程200可以在图1中所示的图像处理系统100中实现。例如，流程200的至少一部分可以作为指令的形式存储在存储设备140中，并且由服务器110和终端130调用和/或执行。

步骤210，第一处理设备接收图像数据。

在一些实施例中，第一处理设备可以为终端设备，例如终端130。在一些实施例中，终端设备可以是移动终端设备，例如手机设备、平板设备、智能家居设备、物联网(TheInternet of Things，IOT)机具，例如扫脸机具、扫码机具等，还可以是边缘设备(EdgeDevice)，例如路由器、交换机、网络接入设备等。

第一处理设备可以通过各种方式获取图像数据，包括但不限于通过图像采集组件(如摄像头)拍摄图像、从网上下载图像、加载本地预先存储的图像、接收其他设备传送来的图像等。在一些实施例中，第一处理设备上安装有应用程序(APP)，第一处理设备可以运行所述APP获取图像数据。例如，可以接收社交类或是资讯类APP中公众号、生活号等发布的图像。又例如，可以接收社交类APP中个人或群体聊天中出现的图像，或用户发布的状态信息中的图像。再例如，可以接收用户使用APP中的图像拍摄或上传功能输入的图像(如用户头像等)。

所述图像数据可能含有文本内容，需要对所述图像数据进行文本检测和识别，以对图像数据中的文本内容进行风险判断。例如，所述图像数据可以是仅含有文本内容的纯文本图案，或者也可以是同时含有文本内容和非文本内容的图案。相比于呈现为文本格式的文本内容来说，呈现为图像格式的文本内容的检测识别难度更大，对计算的需求更大，因此接下来采用两个处理设备协同处理的技术方案。

步骤220，第一处理设备在预设时长内对所述图像数据进行第一处理，得到第一结果。

第一处理设备的第一处理可以包括对所述图像数据进行文本检测，还可以包括对所述图像数据进行文本识别。文本检测处理可以包括对图像中存在文字的区域进行定位，确定文本行的边界框。文本识别处理包括对定位后的文字进行识别，确定文本内容。在一些实施例中，第一处理设备可以采用光学字符识别技术对所述图像数据中的文本进行检测和/或识别。光学字符识别(Optical Character Recognition，OCR)技术通过光学手段、根据检测到的暗亮来确定图像中的文本形状，然后通过字符识别方法将文本形状转换为计算机可处理的文本格式的文本。在一些实施例中，第一处理还可以包括在进行文本检测前对图像数据进行预处理，预处理包括但不限于灰度化、几何变换、图像增强等。

所述预设时长用于限制第一处理设备对图像数据进行处理的时间。可以理解，由于本说明书中采用了第一处理设备和第二处理设备协同处理，第一处理设备处理完之后由第二处理设备接着处理，因此需要给第一处理设备设置所述预设时长，即第一处理设备仅在所述预设时长内对图像数据进行处理，超出所述预设时长后第一处理设备可以不再继续处理，而交由第二处理设备接着处理。在一些实施例中，可以根据相关因素预先设定所述预设时长。例如，可以根据第一处理设备的性能设置所述预设时长，第一处理设备的性能越强，所述预设时长越短；还可以根据所涉图像处理场景的复杂度确定所述预设时长，所涉图像处理场景越复杂，所述预设时长越长。所述预设时长可以为任何数值，仅作为示例，可以是10秒、5秒、4秒、3秒、2秒、1秒等。

所述第一结果可以包括在所述预设时长内所述第一处理设备执行所述第一处理获得的结果，例如，可以包括文本检测及识别结果，或仅包括文本检测结果。所述第一结果还可以包括在所述预设时长内执行所述第一处理的进度信息，例如，已完成文本检测且无文本、已完成文本检测处理与文本识别处理、已完成文本检测处理但未完成文本识别处理、未完成文本检测处理与文本识别处理这四种情况。所述第一设备进行第一处理的详细过程以及有关第一结果的详细描述可以参见图5，在此不再赘述。

步骤230，第一处理设备将所述第一结果发送给第二处理设备。

在一些实施例中，第二处理设备可以为服务器，如图1所示的服务器110。第一处理设备(如图1所示的终端130)可以通过网络(如图1所示的网络120)将第一处理结果发送给第二处理设备(如服务器110)。第一处理设备也可以通过网络将第一处理结果发送给存储设备(如图1所示的存储设备140)，第二处理设备从所述存储设备处获取第一处理结果。

在一些实施例中，第二处理设备进行步骤240中的后续处理时，除了要用到所述第一结果外，还需要用到所述图像数据。相应地，第一处理设备除了将所述第一结果发送给第二处理设备外，还可以将所述图像数据也发送给第二处理设备。例如，第一处理设备可以向第二处理设备直接发送所述图像数据，或者可以发送图像标识，图像标识包括但不限于图像的编码(如一串随机生成的字符串)。图像标识与图像数据之间具有对应关系，第二处理设备可以根据图像标识获取相应的图像数据。例如，第一处理设备在步骤210中获取到图像数据后，可以将获取到的图像数据及相应的图像标识发送给存储设备(如图1所示的存储设备140)进行存储，当第二处理设备在进行后续处理需要获取所述图像数据时，则可以根据第一处理设备发送来的相应图像标识从所述存储设备获取所述图像数据。

步骤240，第二处理设备根据所述第一处理结果进行与所述图像数据相关的后续处理。

在一些实施例中，所述后续处理包括对于第一处理设备在预设时长内未能完成的第一处理的部分。在一些实施例中，响应于所述第一结果为无文本，第二设备可以不执行后续处理。在一些实施例中，根据不同的第一结果，第二处理设备可以进行不同的后续处理。例如，响应于所述第一结果包括已完成文本检测处理与文本识别处理的进度信息以及识别出的文本内容，第二处理设备的后续处理可以是对所述文本内容进行风险判断处理；响应于所述第一结果包括已完成文本检测处理但未完成文本识别处理的进度信息以及文本在所述图像数据中的位置信息，第二处理设备的后续处理可以是获取所述图像数据并基于所述位置信息从所述图像数据中识别文本内容，并对所述文本内容进行风险判断处理；响应于所述第一结果包括未完成文本检测处理与文本识别处理的进度信息，第二处理设备的后续处理可以是获取所述图像数据，对所述图像数据进行文本检测处理以及文本识别处理，并对识别获得的文本内容进行风险判断处理。在一些实施例中，可以为第二处理设备进行所述后续处理设定预设时长，例如10秒、5秒、4秒、3秒、2秒、1秒等，超过设定时长未得到文本检测和/或识别结果，则可以将图像数据进行上报或是进行其他特殊处理。有关第二处理设备进行后续处理的更多内容可以参见图6及其描述，此处不再赘述。

在一些实施例中，所述后续处理还可以包括对所述图像数据中的文本内容进行风险识别，得到文本风险识别结果。由于互联网中的图像数据繁杂多样，图像数据中可能存在一种载体而存在包括黄色、赌博、毒品、暴力、恐怖、低俗等不良文本内容。因此，需要通过一些技术手段，将这类具有不良文本内容的图像数据识别出来，再进行提醒或是屏蔽等处理。对于可能存在风险的图像，可以根据情况通过不同的形式进行处理，例如，可以删除图像、禁止发布图像、仅发布者可见图像等。在一些实施例中，所述风险识别可以应用于社交聊天、网络账号发布内容、用户的信息(例如，头像信息、昵称信息等)上传等所有涉及内容风险防控的场景。有关风险识别的更多内容可以参见图6及其描述。

应当注意的是，上述有关流程200的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程200进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图3是根据本说明书一些实施例所示的一个示例性图像处理系统的框图。该图像处理系统可以在第一处理设备(如图1所示终端130)上实现。如图3所示，该图像处理系统300可以包括图像获取模块310、第一处理模块320、传送模块330。

图像获取模块310用于获取图像数据。在一些实施例中，图像获取模块310可以通过各种方式获取图像数据，包括但不限于通过图像采集组件(如摄像头)拍摄图像、从网上下载图像、加载本地预先存储的图像、接收其他设备传送来的图像等。在一些实施例中，图像获取模块310可以通过运行APP获取图像数据。所述图像数据可能含有文本内容，需要对所述图像数据进行文本检测和识别。例如，所述图像数据可以是仅含有文本内容的纯文本图案，或者也可以是同时含有文本内容和非文本内容的图案。

第一处理模块320用于对图像数据进行第一处理。在一些实施例中，第一处理模块320可以对图像数据进行文本检测，还可以对图像数据进行文本识别。在一些实施例中，第一处理模块320采用OCR技术对图像数据中的文本进行检测和/或识别。在一些实施例中，在对图像数据进行文本检测和识别前，第一处理模块320还可以对图像数据进行预处理。在一些实施例中，针对第一处理模块320的第一处理可以设置预设时长，用来限制所述第一处理的时间。第一处理模块320对图像数据进行第一处理后可以得到第一结果。第一结果可以包括例如文本检测及识别结果，或仅包括文本检测结果；第一结果还可以包括在所述预设时长内第一处理模块320进行所述第一处理的进度信息。

传送模块330可以用来传送数据。在一些实施例中，传送模块330可以将第一处理模块320在预设时长内执行第一处理获得的第一结果发送给第二处理设备。在一些实施例中，传送模块330还可以向第二处理设备发送图像数据。传送模块330可以将所述第一结果和/或图像数据直接发送给第二处理设备，也可以先发送给存储设备(如图1所示的存储设备140)，由第二处理设备从所述存储设备中获取。

图4是根据本说明书一些实施例所示的一个示例性图像处理系统的框图。该图像处理系统400可以在第二处理设备(如图1所示服务器110)上实现。如图4所示，该图像处理系统400可以包括获取模块410、后续处理模块420。

获取模块410用于获取信息。在一些实施例中，获取模块410可以获取第一处理设备(如图3所示的)在预设时长内执行第一处理获得到的第一结果。在一些实施例中，获取模块410还可以获取第一处理设备(如图3所示图像获取模块310)获取到的图像数据。

后续处理模块420用于根据第一处理设备(如图3所示的第一处理模块320)对图像数据执行第一处理得到的第一结果执行与所述图像数据相关的后续处理。后处理模块420可以包括文本处理单元422和风险分析单元424。文本处理单元422可以执行第一处理模块320在预设时长内未能完成的第一处理的部分，例如，第一处理模块320未能完成的文本检测和/或文本识别处理，以确定图像数据中的文本内容。风险分析单元424用于对识别出的文本内容进行风险分析。在一些实施例中，风险分析单元424可以通过文本挖掘技术对文本内容进行风险分析，确定文本内容是否具有风险，或者文本内容的风险程度，从而对相应图像数据采取措施，例如删除图像、禁止发布图像、仅发布者可见图像等。

应当理解，图3和图4所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于图像处理系统300和400及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，图3中披露的图像获取模块310、第一处理模块320、传送模块330可以是一个系统中的不同模块，也可以是一个模块实现上述两个或两个以上模块的功能；类似地，图4中披露的各模块也可以一个系统中的不同模块，也可以是一个模块实现上述两个或两个以上模块的功能。又例如，图像处理系统300和/或400还可以包括通信模块，用来与其他部件通信。图像处理系统300和/或400中各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。

图5是根据本说明书一些实施例所示的第一处理设备执行的图像处理方法的示例性流程图。在一些实施例中，图5中所示的流程500可以在图1中所示的图像处理系统100中实现。例如，流程500的至少一部分可以作为指令的形式存储在存储设备140中，并且由终端130调用和/或执行。

步骤510，获取图像数据。该步骤510已在步骤210中详细描述，这里不再赘述。

步骤520，在预设时长内对所述图像数据进行文本检测和文本识别处理，得到第一结果。在一些实施例中，第一处理设备可以采用OCR技术对获取的图像数据执行文字检测和识别。在一些实施例中，可以在第一处理设备中部署一套深度学习引擎，用于执行文本检测和识别处理。

在一些实施例中，第一结果包括文本检测及识别结果。例如，可以是所述图像数据中无文本，或者可以是从所述图像中识别出来的文本内容。在一些实施例中，第一结果仅包括文本检测结果，而无文本识别结果。文本检测结果可以包括所述图像数据中文本的位置信息，例如可以是所述图像数据中文本行的边界框，或者是文本所在横坐标、纵坐标等。在一些实施例中，第一结果还可以包括第一处理设备在预设时长内对图像数据进行文本检测和文本识别处理的进度信息。进度信息可以反映第一处理设备在预设时长内是否完成对所述图像数据的文字检测和识别处理。仅作为示例，进度信息可以包括已完成文本检测且无文本、已完成文本检测处理与文本识别处理、已完成文本检测处理但未完成文本识别处理、未完成文本检测处理与文本识别处理这四种情况。在一些实施例中，可以使用特定表达形式表示不同的第一结果，例如，用hasEdgeResult及其数值来表示：若为hasEdgeResult＝0，则表示已完成文本检测且无文本；若为hasEdgeResult＝1，则表示已完成文本检测处理与文本识别处理，且识别出文本内容；若为hasEdgeResult＝2，则表示未完成文本检测和文本识别处理；若为hasEdgeResult＝3，则表示已完成文本检测处理但未完成文本识别处理。

在一些实施例中，所述预设时长为预先设定的时间阈值，可以是0.25s、0.5s、1s、1.5s、2s、3s、5s等任意时间值。在一些实施例，所述预设时长可以根据图像大小、图像规格、图像类别、图像来源等相关因素进行相应调整。

在一些实施例中，第一处理设备可以为终端设备。在一些实施例中，使用终端设备对图像数据进行文字检测和识别处理可以减少服务器对所述图像数据进行后续处理的计算量，在一定程度上减轻服务器的计算压力。

步骤530，将所述第一结果发送给第二处理设备，以便第二处理设备基于第一结果进行与所述图像数据相关的后续处理。

如步骤520中所述，可以用特定表达形式表示不同的第一结果，如用hasEdgeResult及其数值来表示。为方便说明，下面以hasEdgeResult及其数值为例描述第一处理设备如何将所述第一结果发送给第二处理设备。若hasEdgeResult＝0，则表示已完成文本检测且无文本，这种情况下第一处理设备可以只向第二处理设备发送的处理结果可以为空；若hasEdgeResult＝1，则表示已完成文本检测处理与文本识别处理，且识别出文本内容，这种情况下第一处理设备可以将识别出的文本内容发送给第二处理设备；若hasEdgeResult＝2，则表示未完成文本检测和文本识别处理，意味着第一处理设备对所述图像数据的文本检测和文本识别均失败，这种情况下第一处理设备可以将所述图像数据发送给第二处理设备，由第二处理设备对所述图像数据进行文本检测和识别；若hasEdgeResult＝3，则表示已完成文本检测处理但未完成文本识别处理，这种情况下第一处理设备可以将文本检测的结果以及所述图像数据发送给第二处理设备。在一些实施例中，第一处理设备可以将图像标识、hasEdgeResult值以及执行第一处理获得的结果(如识别到的文本内容或检测到的文本位置)传输给第二处理设备，将其接收得到的图像数据上传给存储设备(如图1中的存储设备140)进行同步，第二处理设备可以基于图像标识从存储设备中获取相应的图像数据进行后续处理。需要注意的是，除了上述由第一处理设备直接向第二处理设备发送第一结果和/或所述图像数据外，在一些实施例中，第一处理设备也可以将这些数据上传至存储设备(如图1所示的存储设备140)，再由第二处理设备从所述存储设备处获取这些数据。以图像数据的传送为例，在一些实施例中，第一处理设备可以生成图像数据标识，将所述图像数据及其标识上传至存储设备，并将所述标识发送给第二处理设备，第二处理设备可以根据图像数据标识从所述存储设备处获取所述图像数据。

应当注意的是，上述有关流程500的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程500进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图6是根据本说明书一些实施例所示的第二处理设备执行的图像处理方法的示例性流程图。在一些实施例中，图6中所示的流程600可以在图1中所示的图像处理系统100中实现。例如，流程600的至少一部分可以作为指令的形式存储在存储设备140中，并且由服务器110调用和/或执行。

步骤610，获取第一处理设备发送来的第一结果。关于第一结果以及第一处理设备向第二处理设备发送第一结果的更多内容，可以参见图5中的步骤520和530，此处不再赘述。

步骤620～650为第二处理设备根据第一处理设备发送来的所述第一结果对所述图像数据进行的相关后续处理。第二处理设备可以对图像数据进行文本检测和识别处理，第二处理设备还可以对识别出的文本内容进行风险分析。在一些实施例中，第二处理设备可以采用OCR技术进行文本检测和识别。在一些实施例中，第二处理设备上可以预先部署一套深度学习引擎，用于执行文本检测、文本识别处理和/或风险判断处理。在一些实施例中，第二处理设备中的深度学习引擎的能力大于第一处理设备的中的深度学习引擎的能力，因此可以检测识别出第一处理设备未成功检测或识别的图像数据，并进行其他处理。下面分别说明不同第一结果下，第二处理设备对所述图像数据进行的后续处理。

步骤620，响应于所述第一结果为无文本，不执行后续处理。在一些实施例中，第一处理设备在所述预设时长内完成对所述图像数据的文本检测处理且文本检测结果为无文本(如前述hasEdgeResult＝0表示的情况)，则第二处理设备不进行任何后续处理。

通过本说明书实施例的方法，在第二处理设备进行处理前先由第一处理设备进行处理，可以有效减轻第二处理的计算压力，计算压力减轻的具体大小可以根据图像数据的具体情况而定。例如，无文字图像占全部图像的占比在50％以上。对于无文字的图像，第一处理设备进行文本检测与识别后可能会成功确定这些图像中无文字，这样第二处理设备就无需对这些无文字图像进行任何后续处理。如果第一处理设备成功确定出所有的无文字图像，则第二处理设备就无需对这些无文字图像进行后续处理，相比于仅靠第二处理设备对所有图像进行文本检测和识别的方案，可以降低第二处理设备至少50％的计算压力。步骤630，响应于所述第一结果包括已完成文本检测处理与文本识别处理的进度信息以及识别出的文本内容，对所述文本内容进行风险判断处理。

在一些实施例中，第一处理设备在所述预设时长内成功完成对所述图像数据的文本检测与文字识别，且识别出所述图像数据中的文本内容(如前述hasEdgeResult＝1对应的情况)，则第一处理设备可以将识别出的文本内容发送至第二处理设备，第二处理设备无需再次进行检测与识别，直接进行风险判断处理，这也可以减少第二处理设备的计算压力。

在一些实施例中，第二处理设备可以通过文本挖掘技术对识别出来的文本内容进行风险判断处理。文本挖掘可以采用文本分词技术将识别出的文本内容按照一定的规范重新组合成词序列，再根据分词结果判断是否存在不良内容。分词算法包括但不限于基于字典匹配的分词算法、基于语义分析的分词算法、基于概率统计模型的分词算法等。在一些实施例中，可以通过训练得到文本挖掘模型，用模型对识别出的文本内容进行风险判断。

步骤640，响应于所述第一结果包括已完成文本检测处理但未完成文本识别处理的进度信息以及文本在所述图像数据中的位置信息，获取所述图像数据并基于所述位置信息从所述图像数据中识别文本内容，并对所述文本内容进行风险判断处理。

在一些实施例中，第一处理设备在所述预设时长内成功完成对所述图像数据的文本检测处理但未完成文本识别处理，则第二处理设备需要再次进行文字识别，但无需再次进行文本检测，这也可以减轻第二处理设备的计算压力。在一些实施例中，第一处理设备可以将通过文本检测确定的文本位置信息发送给第二处理设备，文本位置信息可以通过横坐标以及纵坐标等信息进行描述，另外，第二处理设备还可以获取所述图像数据，所述图像数据可以由第一处理设备直接发送给第二处理设备，也可以由第一处理设备先发送给存储设备进行存储，再由第二处理设备从所述存储设备中获取。第二处理设备根据所述图像数据和第一处理设备得到的文本位置信息能够在所述图像数据中找到文本，并进行文本识别，得到识别出的文本内容。

对文本内容进行风险判断处理的操作与步骤630中描述的类似，此处不再赘述。

步骤650，响应于所述第一结果包括未完成文本检测处理与文本识别处理的进度信息，获取所述图像数据，对所述图像数据进行文本检测处理以及文本识别处理，并对识别获得的文本内容进行风险判断处理。

在一些实施例中，第一处理设备在所述预设时长内未完成文本检测处理与文本识别处理，则第二处理设备需要重新进行文本检测与文字识别。可以理解，第一处理设备的处理能力有限，不能处理所有图像数据，第二处理设备的处理能力大于第一处理设备的处理能力，因此第二处理设备可能有能力处理第一处理设备处理失败的图像数据。对于第一处理设备未能成功进行文本处理与文本识别的图像数据，第二处理设备需要获取图像数据重新进行文本检测和文本识别。

应当注意的是，上述有关流程600的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程600进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

本说明书实施例可能带来的有益效果包括但不限于：将对图像数据的文本检测和文本识别拆分进行，并由终端设备先行处理，再由服务器进行后续处理，由此充分利用了终端资源，降低服务器端所承载的计算压力。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的说明书历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims

1.一种图像处理方法，所述方法由第一处理设备执行，其包括：

获取图像数据；

在预设时长内对所述图像数据进行第一处理，得到第一结果；所述第一结果包括在预设时长内执行第一处理获得的结果和/或在预设时长内执行第一处理的进度信息；以及

将所述第一结果发送给第二处理设备，以便第二处理设备基于所述第一结果进行与所述图像数据相关的后续处理；

其中，所述第二处理设备的处理能力大于所述第一处理设备的处理能力。

2.根据权利要求1所述的图像处理方法，所述第一处理包括对图像数据的文本检测处理与文本识别处理；

所述后续处理包括第一处理设备在预设时长内未能完成的第一处理的部分以及文本风险判断处理，或者仅包括文本风险判断处理。

3.根据权利要求1所述的图像处理方法，所述在预设时长内执行第一处理获得的结果包括文本检测及识别结果，或仅包括文本检测结果；

所述进度信息包括未完成文本检测处理与文本识别处理、已完成文本检测处理但未完成文本识别处理或者已完成文本检测处理与文本识别处理。

4.根据权利要求3所述的图像处理方法，所述文本检测及识别结果包括无文本或识别出来的文本内容；所述文本检测结果包括文本在所述图像数据中的位置信息。

5.根据权利要求1所述的图像处理方法，所述第一处理设备为终端设备，所述第二处理设备为服务器。

6.一种图像处理系统，所述系统由第一处理设备实现，包括：

图像获取模块，用于获取图像数据；

第一处理模块，用于在预设时长内对所述图像数据进行第一处理，得到第一结果；所述第一结果包括在预设时长内执行第一处理获得的结果和/或在预设时长内执行第一处理的进度信息；以及

传送模块，用于将所述第一结果发送给第二处理设备，以便第二处理设备基于所述第一结果进行与所述图像数据相关的后续处理；

7.根据权利要求6所述的图像处理系统，所述第一处理包括对图像数据的文本检测处理与文本识别处理；

8.根据权利要求6所述的图像处理系统，所述在预设时长内执行第一处理获得的结果包括文本检测及识别结果，或仅包括文本检测结果；

9.根据权利要求8所述的图像处理系统，所述文本检测及识别结果包括无文本或识别出来的文本内容；所述文本检测结果包括文本在所述图像数据中的位置信息。

10.根据权利要求6所述的图像处理系统，所述第一处理设备为终端设备，所述第二处理设备为服务器。

11.一种图像处理装置，所述装置包括至少一个处理器以及至少一个存储器；

所述至少一个存储器用于存储计算机指令；

所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1～5中任一项所述的图像处理方法。

12.一种图像处理方法，所述方法由第二处理设备执行，其包括：

获取第一结果；所述第一结果为第一处理设备在预设时长内对图像数据进行第一处理得到；所述第一结果包括在预设时长内第一处理设备执行第一处理获得的结果和/或在预设时长内第一处理设备执行第一处理的进度信息；

基于所述第一结果，进行与所述图像数据相关的后续处理；

13.根据权利要求12所述的图像处理方法，所述第一处理包括对图像数据的文本检测处理与文本识别处理；

14.根据权利要求13所述的图像处理方法，所述在预设时长内执行第一处理获得的结果包括文本检测及识别结果，或仅包括文本检测结果；

15.根据权利要求14所述的图像处理方法，所述文本检测及识别结果包括无文本或识别出的文本内容；所述文本检测结果包括文本在所述图像数据中的位置信息。

16.根据权利要求15所述的图像处理方法，所述基于所述第一结果，进行与所述图像数据相关的后续处理，包括：

响应于所述第一结果为无文本，不执行后续处理；

响应于所述第一结果包括已完成文本检测处理与文本识别处理的进度信息以及识别出的文本内容，对所述文本内容进行风险判断处理；

响应于所述第一结果包括已完成文本检测处理但未完成文本识别处理的进度信息以及文本在所述图像数据中的位置信息，获取所述图像数据并基于所述位置信息从所述图像数据中识别文本内容，并对所述文本内容进行风险判断处理；

响应于所述第一结果包括未完成文本检测处理与文本识别处理的进度信息，获取所述图像数据，对所述图像数据进行文本检测处理以及文本识别处理，并对识别获得的文本内容进行风险判断处理。

17.根据权利要求12所述的图像处理方法，所述第一处理设备为终端设备，所述第二处理设备为服务器。

18.一种图像处理系统，所述系统由第二处理设备实现，包括：

获取模块，用于获取第一结果；所述第一结果为第一处理设备在预设时长内对图像数据进行第一处理得到；所述第一结果包括在预设时长内第一处理设备执行第一处理获得的结果和/或在预设时长内第一处理设备执行第一处理的进度信息；

后续处理模块，用于基于所述第一结果，进行与所述图像数据相关的后续处理；

19.根据权利要求18所述的图像处理系统，所述第一处理包括对图像数据的文本检测处理与文本识别处理；

20.根据权利要求19所述的图像处理系统，所述在预设时长内执行第一处理获得的结果包括文本检测及识别结果，或仅包括文本检测结果；

21.根据权利要求20所述的图像处理系统，所述文本检测及识别结果包括无文本或识别出的文本内容；所述文本检测结果包括文本在所述图像数据中的位置信息。

22.根据权利要求21所述的图像处理系统，所述后续处理模块还用于：

响应于所述第一结果为无文本，不执行后续处理；

23.根据权利要求18所述的图像处理系统，所述第一处理设备为终端设备，所述第二处理设备为服务器。

24.一种图像处理装置，所述装置包括至少一个处理器以及至少一个存储器；

所述至少一个存储器用于存储计算机指令；

所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求12～17中任一项所述的图像处理方法。