CN113496442A - 图表征产生系统,图表征产生方法与其图表征智能模块 - Google Patents

图表征产生系统,图表征产生方法与其图表征智能模块 Download PDF

Info

Publication number
CN113496442A
CN113496442A CN202010198839.6A CN202010198839A CN113496442A CN 113496442 A CN113496442 A CN 113496442A CN 202010198839 A CN202010198839 A CN 202010198839A CN 113496442 A CN113496442 A CN 113496442A
Authority
CN
China
Prior art keywords
graph
image
characterization
representation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010198839.6A
Other languages
English (en)
Inventor
张智尧
李嘉孟
苏仁浚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hesheng Songju Zhicai Consulting Co ltd
Original Assignee
Hesheng Songju Zhicai Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hesheng Songju Zhicai Consulting Co ltd filed Critical Hesheng Songju Zhicai Consulting Co ltd
Priority to CN202010198839.6A priority Critical patent/CN113496442A/zh
Publication of CN113496442A publication Critical patent/CN113496442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/18Legal services; Handling legal documents
    • G06Q50/184Intellectual property management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明揭露一种图表征产生系统,用于具有特定图像规范的知识产权领域。图表征产生系统包括第一深度学习模块、神经网络数据处理模块与结合学习单元。第一深度学习模块是用以接收图像以产生初始图表征。神经网络数据处理模块是用以接收图像在特定图像规范下的图规范信息,并依据图规范信息产生图规范表征。结合学习单元包括结合模块与第二深度学习模块。其中,结合模块是用以结合初始图表征与图规范表征以产生输入信息。第二深度学习模块是用以接收输入信息以产生最终图表征。本发明并揭露一种图表征产生方法与一种图表征智能模块。藉此,可以有效地纳入知识产权领域既有的图像规范,解决知识产权领域在图像数据处理的缺点。

Description

图表征产生系统,图表征产生方法与其图表征智能模块
技术领域
本发明涉及一种图表征产生系统,图表征产生方法与其图表征智能模块,尤其涉及一种利用深度学习以智能处理图像知识产权数据的图表征产生系统,图表征产生方法与其图表征智能模块。
背景技术
在面临国际技术竞争与冲击的当下,知识产权的发展成为产业升级上极重要的一环。在知识经济的浪潮席卷全球的下,知识产权的重要性与价值已毋庸置疑,但随着新的科技技术出现,也逐渐引发知识产权未来的服务走向。
以往的知识产权需要耗费大量的人力,从技术、法律、商业利益等角度来解析,进而产生对权利人有益的策略与行为。
其中,以知识产权中跟图像有关的部分,例如商标图像、著作权图像、或外观设计图像,无论是在前案搜寻与比对,都非常耗费人力,其直接影响权利的范围、核准率、侵害与被侵害的可能、无效或被无效的可能,在法律上与商业上,会使企业产生重大的获利与损失。
因此,有必要藉由现今渐趋成熟的人工智能,来改善知识产权耗费人工、错误与争议大、耗时效率低等问题。
因此,本发明的主要目的在于提供一种利用深度学习以智能处理图像知识产权数据的图表征产生系统,图表征产生方法与其图表征智能模块,以解决上述问题。
发明内容
本发明的目的在于提供一种图表征产生系统,用于具有特定图像规范的知识产权领域,用以将图像转化成具有领域适应性的图表征。所述图表征产生系统包括第一深度学习模块、神经网络数据处理模块与结合学习单元。第一深度学习模块是用以接收所述图像,以产生初始图表征。神经网络数据处理模块是用以接收所述图像在所述特定图像规范下的图规范信息,并依据所述图规范信息产生图规范表征。结合学习单元包括结合模块与第二深度学习模块。其中,所述结合模块是用以结合所述初始图表征与所述图规范表征,以产生输入信息。所述第二深度学习模块是用以接收所述输入信息,以产生最终图表征。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生系统,其特征在于,更包括训练模块,所述训练模块依据所述第一深度学习模块、所述神经网络数据处理模块与所述结合学习单元产生所述最终图表征的编码方式,将所述最终图表征译码还原产生对应于所述图像的一比对图像,并依据所述比对图像与所述图像间的一损失函数(loss)修正所述第一深度学习模块的第一参数、所述神经网络数据处理模块的第二参数与所述第二深度学习模块的第三参数。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生系统,其特征在于,其中所述神经网络数据处理模块是利用独热编码(One Hot Encode)产生所述图规范表征。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生系统,其特征在于,其中所述图规范信息是利用对应于所述特定图像规范的图分类数据库、具有所述特定图像规范的知识图谱库、或对应于所述特定图像规范的量化规范法则所产生。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生系统,其特征在于,其中所述结合学习单元将所述初始图表征与所述图规范表征结合以产生所述输入信息的结合方法是采用向量直接合并。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生系统,其特征在于,其中所述图规则表征与所述初始图表征的维数相同。所述结合学习单元是以所述图规范表征作为权重结合所述初始图表征与所述图规范表征。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生系统,其特征在于,其中所述第一深度学习模块与第二深度学习模块是选自于由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所组成的卷积神经网络(Convolutional NeuralNetwork;CNN)族群中的至少一个。
本发明的另一目的在于提供一种图表征产生方法,用于具有特定图像规范的知识产权领域,用以将图像转化成具有领域适应性的图表征。所述图表征产生方法包括:将所述图像提供至第一深度学习模型,以产生初始图表征;将所述图像在所述特定图像规范下的图规范信息提供至神经网络模型,以产生图规范表征;结合所述初始图表征与所述图规范表征,以产生输入信息;以及将所述输入信息提供至第二深度学习模型,以产生最终图表征。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生方法,其特征在于,在产生所述最终图表征的步骤后,更包括依据产生所述最终图表征的编码方式,将所述最终图表征译码还原产生对应于所述图像的比对图像,并依据所述比对图像与所述图像间的损失函数(loss)修正所述第一深度学习模型、所述神经网络模型与所述第二深度学习模型的参数。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生方法,其特征在于,将所述图像在所述特定图像规范下的图规范信息提供至神经网络模型,以产生图规范表征的步骤是利用独热编码(One Hot Encode)产生所述图规范表征。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生方法,其特征在于,所述图规范信息是利用对应于所述特定图像规范的图分类数据库对所述图像进行分析所产生。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生方法,其特征在于,所述图规范信息是利用具有所述特定图像规范的知识图谱库对所述图像进行分析所产生。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生方法,其特征在于,所述图规范信息是利用所述图像规范量化后产生的量化规范法则对所述图像进行分析所产生。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生方法,其特征在于,其中结合所述初始图表征与所述图规范表征的步骤是采用向量直接合并。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生方法,其特征在于,其中所述图规则表征与所述初始图表征的维数相同。结合所述初始图表征与所述图规范表征的步骤是以所述图规范表征作为权重与所述初始图表征合并。
为达所述优点至少其中的一或其他优点,本发明的一实施例提出一种图表征产生方法,其特征在于,其中所述第一深度学习模型与第二深度学习模型是由选自于由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所组成的卷积神经网络族群中的至少一个所提供。
本发明的另一目的在于提供一种图表征智能模块,用于具有特定图像规范的知识产权领域,用以将图像转化成具有领域适应性的图表征。所述图表征智能模块包括结合模块以及深度学习模块。所述结合模块是用以接收对应于所述图像的初始图表征与对应于所述图像在所述特定图像规范下的图规范表征,并结合所述初始图表征与所述图规范表征以产生输入信息。所述深度学习模块是用以接收所述输入信息,以产生最终图表征。
因此,利用本发明所提供一种图像知识产权数据的图表征产生系统,图表征产生方法与其图表征智能模块,可以有效地纳入知识产权领域既有的图像规范,解决知识产权领域在图像数据(例如商标图像、著作权图像、或外观设计图像等)的前案搜寻与比对处理上耗费人工、错误与争议大、耗时效率低等问题。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、表征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
所包括的附图用来提供对本申请实施例的进一步的理解,其构成了说明书的一部分,用于例示本申请的实施方式,并与文字描述一起来阐释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本发明图表征产生系统一实施例的示意图;
图2是本发明图表征产生系统另一实施例的示意图;
图3是本发明图表征产生方法一实施例的流程图;
图4是本发明图表征产生方法另一实施例的流程图;以及
图5是本发明图表征智能模块一实施例的示意图。
具体实施方式
这里所公开的具体结构和功能细节仅仅是代表性的,并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现,并且不应当被解释成仅仅受限于这里所阐述的实施例。
在本发明的描述中,需要理解的是,术语“中心”、“横向”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关为基于附图所示的方位或位置关是,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术表征的数量。由此,限定有“第一”、“第二”的表征可以明示或者隐含地包括一个或者更多个所述表征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。另外,术语“包括”及其任何变形,意图在于覆盖不排他的包含。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个组件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的表征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他表征、整数、步骤、操作、单元、组件和/或其组合。
图1是本发明图表征产生系统一实施例的示意图。此图表征产生系统100是用于具有特定图像规范的知识产权领域,用以将图像转化成具有领域适应性的图表征。前述图像可以是商标图形、图像设计等知识产权领域的图像。前述特定图像规范可以是商标图形分类或是工业品外观设计分类,例如维也纳分类(维也纳协议建立的一种用于由图形要素构成的或带有图形要素的商标的分类法)或是洛迦诺(Locarno)分类(由洛迦诺协议建立的一种工业品外观设计注册用国际分类)。
如图中所示,图表征产生系统100包括第一深度学习模块120、神经网络数据处理模块140以及结合学习单元160。
第一深度学习模块120是用以接收所述图像I,以产生初始图表征(representation)y。在一实施例中,第一深度学习模块120可以是选自于由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所组成的卷积神经网络族群中的至少一个。
神经网络数据处理模块140是用以接收所述图像I在所述特定图像规范下的图规范信息Ir,并依据所述图规范信息Ir产生图规范表征z。
在一实施例中,如图中所示,可利用具有所述特定图像规范的知识图谱库(knowledge graph)20分析图像I自动产生图规范信息Ir。不过亦不限于此。在一实施例中,可利用对应于所述特定图像规范的图分类数据库对图像I进行归类以产生图规范信息Ir。此归类操作可由计算器自动进行,亦可由人力协助。在一实施例中,可对所述特定图像规范予以量化以产生量化规范法则,并利用量化规范法则分析图像I以产生图规范信息Ir。举例来说,可设定参考图像,并分析图像I与参考图像上的画素是否相同,并在相同画素的比例超过一默认值时,认定此二图像为近似,属于相同分类。
在一实施例中,神经网络数据处理模块140可以是单一隐藏层的简单神经网络或是其他浅神经网络(例如隐藏层数量少于10),其隐藏层(hidden layer)数量明显少于前述第一深度学习模块120,以降低成本,简化架构的复杂度。不过,本发明亦不限于此,若是图像规范过于复杂,为了提升判断的准确率,在一实施例中,此神经网络数据处理模块140亦可以是具有深度神经网络之深度学习模块。
在一实施例中,所述神经网络数据处理模块140是利用独热编码产生所述图规范表征z。神经网络数据处理模块140所输出的图规范表征z的维数可视用户需求与此图表征产生系统的实际训练与运作状况进行调整。
结合学习单元160包括结合模块162与第二深度学习模块164。所述结合模块162是用以结合所述初始图表征y与所述图规范表征z以产生输入信息a。在一实施例中,结合学习单元160将初始图表征y与图规范表征z结合以产生输入信息a的结合方法是采用向量直接合并。不过亦不限于此,在一实施例中,结合学习单元160的结合模块162将初始图表征y与图规范表征z结合以产生输入信息a的结合方法亦可以是以图规范表征z作为权重与初始图表征y合并。向量直接合并的方式不受到初始图表征y与图规范表征z的维数限制,但是会产生维数较多的输入信息a。以图规范表征z作为权重与初始图表征y合并的方式可以有效减少输入信息a的维数,但需要相同维数的初始图表征y与图规范表征z。
第二深度学习模块164是用以接收输入信息a,以产生最终图表征b。在一实施例中,第二深度学习模块是选自于由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所组成的卷积神经网络族群中的至少一个。
由于第二深度学习模块164所接收的输入信息a包含对应于图规范信息Ir的图规范表征z,第二深度学习模块164所产生的最终图表征b可以有效地纳入知识产权领域既有的图像规范,使图表征产生系统100的最终图表征b输出更接近知识产权领域的实际判断分析结果。其次,本发明使用较为简单的神经网络数据处理模块140处理图像规范,一方面有助于降低成本,另一方面也有助于提升指令周期。
以下以一个2D商标图形为例说明本实施例。假设输入此图表征产生系统100之图像I示一个包含16x16个灰阶画素的2D商标,特定图像规范为维也纳协议第八版的商标图形分类法,具有29个类别(category)。假设图像I依据商标图形分类法所产生的图规范信息为Ir={Ir1,Ir2…Ir29},Ir1,Ir2…Ir29是以二维数0或1表示图像I与商标图形分类法各个类别的关联性。也就是说,若是属于此类别即填入1,若否即填入0。换言之,此图规范信息Ir即为此图像I依据商标图形分类法的分类结果。
如前述,输入第一深度学习单元120的图像I可表示为x={x1,x2…x256},其中,x1,x2…x256代表各个画素的灰阶;经过第一深度学习模块120所产生的初始图表征y={y1,y2…ym}。依据所述图规范信息Ir利用独热编码产生的图规范表征z={z1,z2…zi}。前述m与i即表示初始图表征y与图规范表征z的维数,二者可依使用者实际需求进行调整。
若是结合模块162将初始图表征y与图规范表征z结合以产生输入信息的结合方法是采用向量直接合并,输入信息a={y1,y2…ym,z1,z2…zi}。若是结合模块162将初始图表征y与图规范表征z结合以产生输入信息a的结合方法是以图规范表征z作为权重与初始图表征y合并,图规范表征z的维数i需要与初始图表征y的维数m相同,输入信息a={y1z1,y2z2…ymzm}。第二深度学习模块164接收输入信息a,据以产生依最终图表征b={b1,b2…bn}。前述n代表最终图表征b的维数,可依实际需求进行调整。
最终图表征b会内含此图像I关联于商标图形分类法的信息。因此,将本实施例之图表征产生系统100所产生的最终图表征b作为前案搜寻与比对处理的对象,可以有效地纳入知识产权领域既有的图像规范,提高判断的准确度,有效解决知识产权领域在图像数据的处理上耗费人工、错误与争议大、耗时效率低等问题。
图2是本发明图表征产生系统200另一实施例的示意图。相较于图1的图表征产生系统100。本实施例的图表征产生系统200具有自动训练功能,可直接利用编码产生的最终图表征b反向修正第一深度学习模块120、神经网络数据处理模块140以及第二深度学习模块164的参数。
如图中所示,本实施例的图表征产生系统200除了第一深度学习模块120、神经网络数据处理模块140以及结合学习单元160,还包括训练模块280。训练模块280包括比对图像产生单元282与优化单元284。比对图像产生单元282接收第二深度学习模块164所产生的最终图表征b,并依据第一深度学习模块120、神经网络数据处理模块140与结合学习单元160产生最终图表征b的编码方式,将最终图表征b译码还原产生对应于图像I的一个比对图像I’。
优化单元284接收比对图像I’,并计算比对图像I’与原始图像I间的损失函数(loss function)以优化第一深度学习模块120的第一参数、神经网络数据处理模块140的第二参数与第二深度学习模块164的第三参数。也就是说,训练模块280的优化单元284会以缩减损失函数为目标,修正第一参数、第二参数与第三参数。在一实施例中,前述损失函数可以是比对图像I’与原始图像I的所有对应画素的灰阶的均方误差(mean square error,MSE)。在一实施例中,前述损失函数可以是比对图像I’与原始图像I的所有对应画素的灰阶的平均绝对值误差(mean absolute error,MAE)。不过本发明亦不限于此,任何适用于图像比对的损失函数,如Huber损失函数、Log-Cosh损失函数,均可适用于本发明。
透过前述训练模块280的运作,本实施例的图表征产生系统200可自动将编码产生之最终图表征b还原为比对图像I’进行训练程序以优化第一深度学习模块120的第一参数、神经网络数据处理模块140的第二参数与第二深度学习模块164的第三参数,而毋须人工介入。
图3是本发明图表征产生方法一实施例的流程图。此图表征产生方法用于具有特定图像规范的知识产权领域,用以将图像转化成具有领域适应性的图表征。此图表征产生方法可使用如图1所示的图表征产生系统100执行。
如图中所示,此图表征产生方法包括以下步骤。
请一并参照图1所示,首先,在步骤S120中,将图像I提供至第一深度学习模型,以产生初始图表征y。此步骤可由图1的第一深度学习模块120所执行。在一实施例中,第一深度学习模型是由选自于由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所组成的卷积神经网络族群中的至少一个所提供。
随后,在步骤S140中,将所述图像I在所述特定图像规范下的图规范信息Ir提供至神经网络模型,以产生图规范表征z。此步骤可由图1的神经网络数据处理模块140所执行。在一实施例中,此步骤可利用独热编码(One Hot Encode)依据图规范信息Ir产生图规范表征z。
在一实施例中,图规范信息Ir是利用对应于所述特定图像规范的图分类数据库对图像I进行分析所产生。在一实施例中,图规范信息Ir是利用具有所述特定图像规范的知识图谱库对图像I进行分析所产生。在一实施例中,图规范信息Ir是利用所述特定图像规范量化后产生的量化规范法则对图像I进行分析所产生。
接下来,在步骤S160中,结合初始图表征y与图规范表征z以产生输入信息a。此步骤可由图1的结合模块162所执行。在一实施例中,此步骤是将初始图表征y与图规范表征z的向量直接合并。在一实施例中,当图规则表征y与初始图表征z的维数相同,此步骤是以图规范表征z作为权重与初始图表征y合并。
最后,在步骤S180中,将输入信息a提供至第二深度学习模型,以产生最终图表征b。此步骤可由图1的第二深度学习模块164所执行。在一实施例中,第二深度学习模型是由选自于由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所组成的卷积神经网络族群中的至少一个所提供。
图4是本发明图表征产生方法另一实施例的流程图。相较于图3的图表征产生方法。本实施例的图表征产生方法具有训练步骤,可直接利用编码产生的最终图表征b反向修正第一深度学习模型、神经网络模型以及第二深度学习模型的参数。在一实施例中,此图表征产生方法可使用图2所示的图表征产生系统200执行。
承接图3的步骤S180,如图中所示,在产生最终图表征b的步骤后,本实施例更包括比对图像产生步骤S192与参数优化步骤S194,可自动修正步骤S120所使用的第一深度学习模型、步骤S140所使用的神经网络模型以及步骤S180所使用的第二深度学习模型的参数。
比对图像产生步骤S192是依据步骤S120至S180产生最终图表征b的编码方式,将最终图表征b译码还原,产生对应于原始图像I的比对图像I’。请一并参照图2,在一实施例中,此步骤可利用训练模块280的比对图像产生单元282执行。
参数优化步骤S194是依据比对图像I’与原始图像I间的损失函数,并依据此损失函数优化步骤S120所使用的第一深度学习模型、步骤S140所使用的神经网络模型与步骤S180所使用的第二深度学习模型的参数。在一实施例中,此步骤可利用训练模块280的优化单元284执行。训练模块280会以缩减损失函数的数值为目标修正参数。
图5是本发明图表征智能模块一实施例的示意图。此图表征智能模块300用于具有特定图像规范的知识产权领域,用以将图像I转化成具有领域适应性的图表征。此图表征智能模块300大致对应于图1中的结合学习单元160。
如图中所示,此图表征智能模块300包括结合模块320与深度学习模块340。结合模块320用以接收对应于图像I的初始图表征y与对应于图像I在特定图像规范下的图规范表征z,并结合初始图表征y与图规范表征z以产生输入信息a。在一实施例中,图规范表征z是利用独热编码所产生。
在一实施例中,结合模块320将初始图表征y与图规范表征结合z以产生输入信息a的结合方法是采用向量直接合并。不过亦不限于此。在一实施例中,结合模块320将初始图表征y与图规范表征结合z以产生输入信息a的结合方法也可以是以图规范表征z作为权重与初始图表征y合并。关于初始图表征y与图规范表征z的细节可参阅本案图1的实施例,在此不予赘述。
深度学习模块340接收结合模块320产生之输入信息a以产生最终图表征b。在一实施例中,所述深度学习模块340是选自于由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所组成的卷积神经网络族群中的至少一个。在一实施例中,关于此深度学习模块340可参见本案图1中的第二深度学习模块164,关于此深度学习模块340的训练流程可参见本案图2中对于第二深度学习模块164的训练流程,在此不予赘述。
此图表征智能模块300可以是软件、硬件或是软件与硬件的结合。在实际使用上,并可搭配使用者既有的深度学习模块与神经网络模块组成如图1所示之图表征产生系统100以产生具有领域适应性的图表征供用户分析使用。举例来说,此图表征智能模块300可以由一般的程序语言或是其他既有程序来达成,并可以设置于已知的计算机可利用媒介;此图表征智能模块300可以利用集成电路制程转换为硬件实现;此图表征智能模块300亦可以将其中部份模块由一般的程序语言或是其他既有程序来达成,部分模块利用集成电路制程转换为硬件实现。
综上所述,利用本发明所提供一种图像知识产权数据的图表征产生系统,图表征产生方法与其图表征智能模块,可以有效地纳入知识产权领域既有的图像规范,解决知识产权领域在图像数据(例如商标图像、著作权图像、或外观设计图像等)的前案搜寻与比对处理上耗费人工、错误与争议大、耗时效率低等问题。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (17)

1.一种图表征产生系统,用于具有特定图像规范的知识产权领域,用以将图像转化成具有领域适应性的图表征,所述图表征产生系统包括:
第一深度学习模块,接收所述图像,以产生初始图表征;
神经网络数据处理模块,接收所述图像在所述特定图像规范下的图规范信息,并依据所述图规范信息产生图规范表征;以及
结合学习单元,包括结合模块与第二深度学习模块,所述结合模块是用以结合所述初始图表征与所述图规范表征,以产生输入信息,所述第二深度学习模块是用以接收所述输入信息,以产生最终图表征。
2.如权利要求1所述的图表征产生系统,其特征在于,更包括训练模块,所述训练模块依据所述第一深度学习模块、所述神经网络数据处理模块与所述结合学习单元产生所述最终图表征的编码方式,将所述最终图表征译码还原产生对应于所述图像的一比对图像,并依据所述比对图像与所述图像间的一损失函数(loss function)修正所述第一深度学习模块的第一参数、所述神经网络数据处理模块的第二参数与所述第二深度学习模块的第三参数。
3.如权利要求1所述的图表征产生系统,其特征在于,其中所述神经网络数据处理模块是利用独热编码(One Hot Encode)产生所述图规范表征。
4.如权利要求1所述的图表征产生系统,其特征在于,其中所述图规范信息是利用对应于所述特定图像规范的图分类数据库、具有所述特定图像规范的知识图谱库、或对应于所述特定图像规范的量化规范法则所产生。
5.如权利要求1所述的图表征产生系统,其特征在于,其中所述结合学习单元将所述初始图表征与所述图规范表征结合以产生所述输入信息的结合方法是采用向量直接合并。
6.如权利要求1所述的图表征产生系统,其特征在于,其中所述图规则表征与所述初始图表征的维数相同。
7.如权利要求6所述的图表征产生系统,其特征在于,其中所述结合学习单元是以所述图规范表征作为权重结合所述初始图表征与所述图规范表征。
8.如权利要求1所述的图表征产生系统,其特征在于,其中所述第一深度学习模块与所述第二深度学习模块是选自于由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所组成的卷积神经网络(Convolutional Neural Network;CNN)族群中的至少一个。
9.一种图表征产生方法,用于具有特定图像规范的知识产权领域,用以将图像转化成具有领域适应性的图表征,所述图表征产生方法包括:
将所述图像提供至第一深度学习模型,以产生初始图表征;
将所述图像在所述特定图像规范下的图规范信息提供至神经网络模型,以产生图规范表征;
结合所述初始图表征与所述图规范表征,以产生输入信息;以及
将所述输入信息提供至第二深度学习模型,以产生最终图表征。
10.如权利要求9所述的图表征产生方法,其特征在于,其中在产生所述最终图表征的步骤后,更包括依据产生所述最终图表征的编码方式,将所述最终图表征译码还原产生对应于所述图像的比对图像,并依据所述比对图像与所述图像间的损失函数修正所述第一深度学习模型、所述神经网络模型与所述第二深度学习模型的参数。
11.如权利要求9所述的图表征产生方法,其特征在于,其中将所述图像在所述特定图像规范下的图规范信息提供至神经网络模型,以产生图规范表征的步骤是利用独热编码产生所述图规范表征。
12.如权利要求9所述的图表征产生方法,其特征在于,其中所述图规范信息是利用对应于所述特定图像规范的图分类数据库、具有所述特定图像规范的知识图谱库或是所述特定图像规范量化后产生的量化规范法则,对所述图像进行分析所产生。
13.如权利要求9所述的图表征产生方法,其特征在于,其中结合所述初始图表征与所述图规范表征的步骤是采用向量直接合并。
14.如权利要求9所述的图表征产生方法,其特征在于,其中所述图规则表征与所述初始图表征的维数相同。
15.如权利要求14所述的图表征产生方法,其特征在于,其中结合所述初始图表征与所述图规范表征的步骤是以所述图规范表征作为权重与所述初始图表征合并。
16.如权利要求9所述的图表征产生方法,其特征在于,其中所述第一深度学习模型与所述第二深度学习模型是由选自于由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所组成的卷积神经网络族群中的至少一个所提供。
17.一种图表征智能模块,用于具有特定图像规范的知识产权领域,用以将图像转化成具有领域适应性的图表征,所述图表征产生系统包括:
结合模块,用以接收对应于所述图像的初始图表征与对应于所述图像在所述特定图像规范下的图规范表征,并结合所述初始图表征与所述图规范表征以产生输入信息;以及
深度学习模块,接收所述输入信息,以产生最终图表征。
CN202010198839.6A 2020-03-19 2020-03-19 图表征产生系统,图表征产生方法与其图表征智能模块 Pending CN113496442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010198839.6A CN113496442A (zh) 2020-03-19 2020-03-19 图表征产生系统,图表征产生方法与其图表征智能模块

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010198839.6A CN113496442A (zh) 2020-03-19 2020-03-19 图表征产生系统,图表征产生方法与其图表征智能模块

Publications (1)

Publication Number Publication Date
CN113496442A true CN113496442A (zh) 2021-10-12

Family

ID=77993536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010198839.6A Pending CN113496442A (zh) 2020-03-19 2020-03-19 图表征产生系统,图表征产生方法与其图表征智能模块

Country Status (1)

Country Link
CN (1) CN113496442A (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599925A (zh) * 2016-12-19 2017-04-26 广东技术师范学院 一种基于深度学习的植物叶片识别系统与方法
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN107358157A (zh) * 2017-06-07 2017-11-17 阿里巴巴集团控股有限公司 一种人脸活体检测方法、装置以及电子设备
CN108388917A (zh) * 2018-02-26 2018-08-10 东北大学 一种基于改进深度学习模型的高光谱图像分类方法
CN108961559A (zh) * 2018-06-01 2018-12-07 深圳市智衣酷科技有限公司 智能化售货系统及其售货方法
CN109190649A (zh) * 2018-07-02 2019-01-11 北京陌上花科技有限公司 一种深度学习网络模型服务器的优化方法和装置
CN109196514A (zh) * 2016-02-01 2019-01-11 西-奥特私人有限公司 图像分类和标记
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN109949079A (zh) * 2019-03-04 2019-06-28 王汝平 基于贝叶斯网络模型的产品市场报告生成方法、装置
CN110020653A (zh) * 2019-03-06 2019-07-16 平安科技(深圳)有限公司 图像语义分割方法、装置及计算机可读存储介质
CN110084296A (zh) * 2019-04-22 2019-08-02 中山大学 一种基于特定语义的图表示学习框架及其多标签分类方法
CN110148120A (zh) * 2019-05-09 2019-08-20 四川省农业科学院农业信息与农村经济研究所 一种基于cnn与迁移学习的病害智能识别方法及系统
CN110148121A (zh) * 2019-05-09 2019-08-20 腾讯科技(深圳)有限公司 一种皮肤图像处理方法、装置、电子设备及介质
CN110263236A (zh) * 2019-06-06 2019-09-20 太原理工大学 基于动态多视图学习模型的社交网络用户多标签分类方法
AU2019101149A4 (en) * 2019-09-30 2019-10-31 Hu, Yaowen MR An Image retrieval System for Brand Logos Based on Deep Learning
US20190354856A1 (en) * 2018-05-15 2019-11-21 New York University System and method for orientating capture of ultrasound images
CN110705600A (zh) * 2019-09-06 2020-01-17 西安交通大学 一种基于互相关熵的多深度学习模型融合方法、终端设备及可读存储介质
CN110728147A (zh) * 2018-06-28 2020-01-24 阿里巴巴集团控股有限公司 一种模型训练方法及命名实体识别方法
US20200042822A1 (en) * 2019-08-21 2020-02-06 Lg Electronics Inc. Fabric identifying method, apparatus, and system

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196514A (zh) * 2016-02-01 2019-01-11 西-奥特私人有限公司 图像分类和标记
CN106599925A (zh) * 2016-12-19 2017-04-26 广东技术师范学院 一种基于深度学习的植物叶片识别系统与方法
CN107358157A (zh) * 2017-06-07 2017-11-17 阿里巴巴集团控股有限公司 一种人脸活体检测方法、装置以及电子设备
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN108388917A (zh) * 2018-02-26 2018-08-10 东北大学 一种基于改进深度学习模型的高光谱图像分类方法
US20190354856A1 (en) * 2018-05-15 2019-11-21 New York University System and method for orientating capture of ultrasound images
CN108961559A (zh) * 2018-06-01 2018-12-07 深圳市智衣酷科技有限公司 智能化售货系统及其售货方法
CN110728147A (zh) * 2018-06-28 2020-01-24 阿里巴巴集团控股有限公司 一种模型训练方法及命名实体识别方法
CN109190649A (zh) * 2018-07-02 2019-01-11 北京陌上花科技有限公司 一种深度学习网络模型服务器的优化方法和装置
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN109949079A (zh) * 2019-03-04 2019-06-28 王汝平 基于贝叶斯网络模型的产品市场报告生成方法、装置
CN110020653A (zh) * 2019-03-06 2019-07-16 平安科技(深圳)有限公司 图像语义分割方法、装置及计算机可读存储介质
CN110084296A (zh) * 2019-04-22 2019-08-02 中山大学 一种基于特定语义的图表示学习框架及其多标签分类方法
CN110148120A (zh) * 2019-05-09 2019-08-20 四川省农业科学院农业信息与农村经济研究所 一种基于cnn与迁移学习的病害智能识别方法及系统
CN110148121A (zh) * 2019-05-09 2019-08-20 腾讯科技(深圳)有限公司 一种皮肤图像处理方法、装置、电子设备及介质
CN110263236A (zh) * 2019-06-06 2019-09-20 太原理工大学 基于动态多视图学习模型的社交网络用户多标签分类方法
US20200042822A1 (en) * 2019-08-21 2020-02-06 Lg Electronics Inc. Fabric identifying method, apparatus, and system
CN110705600A (zh) * 2019-09-06 2020-01-17 西安交通大学 一种基于互相关熵的多深度学习模型融合方法、终端设备及可读存储介质
AU2019101149A4 (en) * 2019-09-30 2019-10-31 Hu, Yaowen MR An Image retrieval System for Brand Logos Based on Deep Learning

Similar Documents

Publication Publication Date Title
CN110503598B (zh) 基于条件循环一致性生成对抗网络的字体风格迁移方法
Zhou et al. Deep semantic dictionary learning for multi-label image classification
CN111652049A (zh) 人脸图像处理模型训练方法、装置、电子设备及存储介质
CN114842267A (zh) 基于标签噪声域自适应的图像分类方法及系统
CN114662788B (zh) 一种海水水质三维时空序列多参数精准预测方法及系统
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN113393370A (zh) 中国书法文字图像风格迁移的方法、系统、智能终端
CN110929733A (zh) 除噪方法、装置、计算机设备、存储介质及模型训练方法
CN114120041A (zh) 一种基于双对抗变分自编码器的小样本分类方法
CN113283577A (zh) 一种基于元学习和生成对抗网络的工业平行数据生成方法
CN113140023B (zh) 一种基于空间注意力的文本到图像生成方法及系统
CN114332479A (zh) 一种目标检测模型的训练方法及相关装置
CN112819848B (zh) 抠图方法、抠图装置和电子设备
Ye et al. Invertible grayscale via dual features ensemble
Ma et al. Enhancing the security of image steganography via multiple adversarial networks and channel attention modules
CN113496442A (zh) 图表征产生系统,图表征产生方法与其图表征智能模块
CN116681921A (zh) 一种基于多特征损失函数融合的目标标注方法及系统
CN113496233A (zh) 图像近似度分析系统
CN115496134A (zh) 基于多模态特征融合的交通场景视频描述生成方法和装置
CN115588237A (zh) 一种基于单目rgb图像的三维手部姿态估计方法
CN115630612A (zh) 一种基于vae与wgan的软件度量缺陷数据增广方法
TWI778341B (zh) 圖像近似度分析系統
Xu et al. Generalized zero-shot learning based on manifold alignment
CN115828848A (zh) 字体生成模型的训练方法、装置、设备及存储介质
TW202137073A (zh) 圖表徵產生系統、圖表徵產生方法與其圖表徵智慧學習器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination