CN110647946B - 一种画中画的检测方法、装置和计算机存储介质 - Google Patents

Abstract

本申请公开一种画中画的检测方法、装置和计算机存储介质，分类模块检测原始图片具有画中画时，回归模块检测画中画的位置；该分类模块和该回归模块共享前端的卷积神经网络，通过卷积神经网络提取同时用于该分类模块检测和该回归模块检测的共同特征，因此，即能达到较好的检测性能，又不会增加系统检测时间，适合于实际复杂的现实场景下应用。

Description

一种画中画的检测方法、装置和计算机存储介质

技术领域

本申请涉及图像识别技术领域，尤其涉及一种画中画的检测方法、装置和计算机存储介质。

背景技术

图像识别技术是人工智能的一个重要领域。它是指对图像进行对象识别，以识别各种不同模式的目标和对像的技术。

图像识别技术是立体视觉、运动分析、数据融合等实用技术的基础，在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域重要的应用价值。

现有技术中，检测画中画，需要先训练一个分类网络，然后把回归网络仅作用在包含画中画的图片上去检测画中画位置，但是这个方法需要训练和测试两个模型，增加了检测时间和系统负担。

发明内容

针对现有技术的上述问题，本申请的多个方面提供一种画中画的检测方法、装置和计算机存储介质，即能达到较好的检测性能，又不会增加系统检测时间，适合于实际复杂的现实场景下应用。

本申请的第一方面提供一种画中画的检测方法，包括：

分类模块检测原始图片是否具有画中画；

当所述分类模块检测所述原始图片具有画中画时，回归模块检测画中画的位置；

所述分类模块和所述回归模块共享前端的卷积神经网络，通过卷积神经网络提取同时用于所述分类模块检测和所述回归模块检测的共同特征。

在一个实施例中，当所述分类模块检测所述原始图片具有画中画时，所述方法还包括：

提取所述画中画的边缘得到一张边框的图片，将该边框图片作为一个通道加入到所述原始图片中；

将所述画中画的边缘数据、所述原始图片的黑白图片数据和所述原始图片的边缘数据作为所述卷积神经网络的输入数据。

在一个实施例中，所述回归模块检测画中画的位置具体包括：

所述回归模块根据边缘检测或者模式匹配找到画中画的形状和位置。

在一个实施例中，所述分类模块和所述回归模块后端的全连接层网络是独立的。

本申请的第二方面提供一种画中画的检测装置，包括：相互连接的分类模块、回归模块和提取模块，其中，所述分类模块和所述回归模块共享前端的卷积神经网络；

所述分类模块，用于检测原始图片是否具有画中画；

所述回归模块，用于当所述分类模块检测所述原始图片具有画中画时，检测画中画的位置；

所述提取模块，用于通过卷积神经网络提取同时用于所述分类模块检测和所述回归模块检测的共同特征。

在一个实施例中，所述提取模块，还用于当所述分类模块检测所述原始图片具有画中画时，提取所述画中画的边缘得到一张边框的图片，将该边框图片作为一个通道加入到所述原始图片中；将所述画中画的边缘数据、所述原始图片的黑白图片数据和所述原始图片的边缘数据作为所述卷积神经网络的输入数据。

在一个实施例中，所述回归模块用于根据边缘检测或者模式匹配找到画中画的形状和位置。

在一个实施例中，所述分类模块和所述回归模块后端的全连接层网络是独立的。

本申请的第三方面提供一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述的画中画的检测方法的步骤。

本申请的第四方面提供一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行所述的画中画的检测方法的步骤。

与现有技术相比，本申请具有以下有益效果：分类模块检测原始图片具有画中画时，回归模块检测画中画的位置；所述分类模块和所述回归模块共享前端的卷积神经网络，通过卷积神经网络提取同时用于所述分类模块检测和所述回归模块检测的共同特征，因此，即能达到较好的检测性能，又不会增加系统检测时间，适合于实际复杂的现实场景下应用。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本申请的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1为本申请一实施例的一种画中画的检测方法的流程示意图；

图2为本申请另一实施例的一种画中画的检测装置的结构示意图；

图3为本申请另一实施例的一种计算机设备的结构示意图。

具体实施方案

以下结合附图和具体实施例对本申请作详细描述，以便更清楚理解本申请的目的、特点和优点。应理解的是，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本申请的保护范围进行任何限制。除非上下文明确地另外指明，否则单数形式“一”和“所述”包括复数指代物。如本申请中所使用的，用语“第一”和“第二”可互换使用，以将一个或一类构件分别与另一个或另一类区分开，且不旨在表示独立构件的位置或重要性。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，为本申请一实施例的一种画中画的检测方法的流程示意图，该画中画的检测方法可以由神经网络服务器执行，所述神经网络服务器包括相互通信连接的分类模块和回归模块，所述分类模块和所述回归模块共享前端的卷积神经网络。

步骤101，分类模块检测原始图片是否具有画中画。

例如，获取原始图片后，通过边缘检测或者模式匹配检测所述原始图片是否具有画中画，例如，如果在所述原始图片中找到另一幅画的边缘或与预定的模式匹配度大于等于阈值，则确定原始图片中具有画中画，则执行步骤102，否则，确定原始图片中没有画中画，本流程结束。

步骤102，当所述分类模块检测所述原始图片具有画中画时，回归模块检测画中画的位置。

例如，当所述分类模块检测所述原始图片具有画中画时，所述回归模块通过边缘检测或者模式匹配找到画中画的位置。

例如，所述回归模块将原始图片中的点通过二维坐标(x，y)表示，则先确定其中一个起始点(即零点)，例如原始图片的左下角或原始图片的中心为起始点，横坐标为x轴，纵坐标为y轴。所述回归模块通过边缘检测或者模式匹配找到画中画周边角的位置坐标，进而确定画中画的位置。

步骤103，通过卷积神经网络提取同时用于所述分类模块检测和所述回归模块检测的共同特征。

在本申请的另一实施例中，当所述分类模块检测所述原始图片具有画中画时，提取所述画中画的边缘得到一张边框的图片，将该边框图片作为一个通道加入到所述原始图片中；将所述画中画的边缘数据、所述原始图片的黑白图片数据和所述原始图片的边缘数据作为所述卷积神经网络的输入数据。

在本申请的另一实施例中，所述分类模块和所述回归模块后端的全连接层网络是独立的。

上述描述的画中画的检测方法，分类模块检测原始图片具有画中画时，回归模块检测画中画的位置；所述分类模块和所述回归模块共享前端的卷积神经网络，通过卷积神经网络提取同时用于所述分类模块检测和所述回归模块检测的共同特征，因此，即能达到较好的检测性能，又不会增加系统检测时间，适合于实际复杂的现实场景下应用。

如2所示，为本申请另一实施例的一种画中画的检测装置的结构示意图，所述画中画的检测装置可以为神经网络服务器的芯片或电路，也可以为神经网络服务器，其中，所述神经网络服务器可以为计算机设备或网络服务器。

所述画中画的检测装置可以包括：分类模块201、回归模块202和提取模块203，所述分类模块201、所述回归模块202和所述提取模块203相互之间可以通过总线连接，所述分类模块201、所述回归模块202或所述提取模块203可以通过芯片、电路或处理器实现。

所述分类模块201和所述回归模块202共享前端的卷积神经网络，所述分类模块201和所述回归模块202后端的全连接层网络是独立的。

所述分类模块201，用于检测原始图片是否具有画中画。其中。所述分类模块201的具体检测过程，可以参考前述画中画的检测方法实施例的步骤101，在此不再赘述。

所述回归模块202，用于当所述分类模块201检测所述原始图片具有画中画时，检测画中画的位置。其中。所述回归模块202的具体检测过程，可以参考前述画中画的检测方法实施例的步骤102，在此不再赘述。

例如，所述回归模块202用于根据边缘检测或者模式匹配找到画中画的形状和位置。

所述提取模块203，用于通过卷积神经网络提取同时用于所述分类模块201检测和所述分类模块202检测的共同特征。

在本申请的另一实施例中，所述提取模块203，还用于当所述分类模块201检测所述原始图片具有画中画时，提取所述画中画的边缘得到一张边框的图片，将该边框图片作为一个通道加入到所述原始图片中；将所述画中画的边缘数据、所述原始图片的黑白图片数据和所述原始图片的边缘数据作为所述卷积神经网络的输入数据。

上述描述的画中画的检测装置，分类模块检测原始图片具有画中画时，回归模块检测画中画的位置；所述分类模块和所述回归模块共享前端的卷积神经网络，通过卷积神经网络提取同时用于所述分类模块检测和所述回归模块检测的共同特征，因此，即能达到较好的检测性能，又不会增加系统检测时间，适合于实际复杂的现实场景下应用。

为解决上述技术问题，本申请实施例还提供一种计算机设备，所述计算机设备可以为神经网络服务器，具体请参阅图3，图3为本实施例计算机设备基本结构框图。

所述计算机设备3包括通过系统总线相互通信连接存储器31、处理器32、网络接口33。需要指出的是，图中仅示出了具有组件31-33的计算机设备3，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的所述计算机设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备3可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器31至少包括一种类型的可读存储介质，所述可读存储介质包括非易失性存储器(non-volatile memory)或易失性存储器，例如，闪存(flash memory)、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、电可擦写可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、可编程只读存储器(programmableread-only memory，PROM)、磁性存储器、磁盘、光盘等，所述RAM可以包括静态RAM或动态RAM。在一些实施例中，所述存储器31可以是所述计算机设备3的内部存储单元，例如，该所述计算机设备3的硬盘或内存。在另一些实施例中，所述存储器31也可以是所述计算机设备3的外部存储设备，例如该所述计算机设备3上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器31还可以既包括所述计算机设备3的内部存储单元也包括其外部存储设备。本实施例中，所述存储器31通常用于存储安装于所述计算机设备3的操作系统和各类应用软件，例如用于执行画中画的检测方法的程序代码等。此外，所述存储器31还可以用于暂时地存储已经输出或者将要输出的各类数据。

在本申请实施例中，该处理器32可以是中央处理单元(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器32还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器，例如单片机等。

该处理器32通常用于控制所述计算机设备3的总体操作。本实施例中，所述存储器31用于存储程序代码或指令，所述程序代码包括计算机操作指令，所述处理器32用于执行所述存储器31存储的程序代码或指令或者处理数据，例如执行画中画的检测方法的程序代码。

本文描述的总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该总线系统可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本申请的另一实施例还提供一种计算机可读介质，计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码，使得处理器能够执行在流程图1对应的画中画的检测方法中每个步骤、或各步骤的组合中规定的功能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。

计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体系统、设备或者装置，或者前述的任意适当组合，所述存储器用于存储程序代码或指令，所述程序代码包括计算机操作指令，所述处理器用于执行所述存储器存储的程序代码或指令。

所述存储器和所述处理器的定义，可以参考前述计算机设备实施例的描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

上述实施例是提供给熟悉本领域内的人员来实现或使用本申请的，熟悉本领域的人员可在不脱离本申请的发明思想的情况下，对上述实施例做出种种修改或变化，因而本申请的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (6)

1.一种画中画的检测方法，其特征在于，包括：

分类模块检测原始图片是否具有画中画；

当所述分类模块检测所述原始图片具有画中画时，回归模块检测画中画的位置；

提取所述画中画的边缘得到一张边框的图片，将边框图片作为一个通道加入到所述原始图片中；

将所述画中画的边缘数据、所述原始图片的黑白图片数据和所述原始图片的边缘数据作为卷积神经网络的输入数据，

所述分类模块和所述回归模块共享前端的卷积神经网络，通过卷积神经网络提取同时用于所述分类模块检测和所述回归模块检测的共同特征，所述分类模块和所述回归模块后端的全连接层网络是独立的。

2.根据权利要求1所述的方法，其特征在于，所述回归模块检测画中画的位置具体包括：

所述回归模块根据边缘检测或者模式匹配找到画中画的形状和位置。

3.一种画中画的检测装置，其特征在于，包括：相互连接的分类模块、回归模块和提取模块，其中，所述分类模块和所述回归模块共享前端的卷积神经网络；

所述分类模块，用于检测原始图片是否具有画中画；

所述回归模块，用于当所述分类模块检测所述原始图片具有画中画时，检测画中画的位置；

所述提取模块，用于通过卷积神经网络提取同时用于所述分类模块检测和所述回归模块检测的共同特征，所述卷积神经网络位于所述分类模块与所述回归模块的前端，并与所述分类模块与所述回归模块同时链接；

所述分类模块和所述回归模块后端连接全连接层网络，所述全连接层网络是独立的，所述提取模块，还用于当所述分类模块检测所述原始图片具有画中画时，提取所述画中画的边缘得到一张边框的图片，将边框图片作为一个通道加入到所述原始图片中；将所述画中画的边缘数据、所述原始图片的黑白图片数据和所述原始图片的边缘数据作为所述卷积神经网络的输入数据。

4.根据权利要求3所述的装置，其特征在于，所述回归模块用于根据边缘检测或者模式匹配找到画中画的形状和位置。

5.一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1或2所述的画中画的检测方法的步骤。

6.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行权利要求1或2所述的画中画的检测方法的步骤。

Images