CN111684461A - 确定图像数据的特征数据的方法、装置、系统及程序及存储介质 - Google Patents

确定图像数据的特征数据的方法、装置、系统及程序及存储介质 Download PDF

Info

Publication number
CN111684461A
CN111684461A CN201880088622.0A CN201880088622A CN111684461A CN 111684461 A CN111684461 A CN 111684461A CN 201880088622 A CN201880088622 A CN 201880088622A CN 111684461 A CN111684461 A CN 111684461A
Authority
CN
China
Prior art keywords
feature
image data
data
determining
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880088622.0A
Other languages
English (en)
Other versions
CN111684461B (zh
Inventor
栗田真嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111684461A publication Critical patent/CN111684461A/zh
Application granted granted Critical
Publication of CN111684461B publication Critical patent/CN111684461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

在本公开中提供一种确定图像数据的特征数据的方法、装置、系统及程序以及存储介质。其中，所述方法包括：获取图像数据的特征，所述特征包括第一特征及第二特征，其中，使用第一模型从图像数据中提取第一特征，第一模型是以机器学习方式进行训练，且使用第二模型从图像数据中提取第二特征，第二模型是基于预先配置的数据处理算法构建的；及基于第一特征及第二特征来确定特征数据。本公开解决了由人工智能识别的特征可能与人类识别的特征不一致的技术问题。

Description

确定图像数据的特征数据的方法、装置、系统及程序及存储 介质
技术领域
本公开涉及图像识别领域，尤其涉及一种确定图像数据的特征数据的方法、装置、系统及程序以及存储介质。
背景技术
目前，可使用各种方法来进行图像识别，且这些方法中的一种是使用人工智能(artificial intelligence，AI)的方法。目前，人工智能(AI)技术广泛应用于包括图像识别在内的各个领域。其中，人工智能技术被应用于图像识别，以代替人类处理大量的图像信息。对人来说，图像刺激会影响感觉器官。在图像识别中，人们不仅需要进入感官的信息，还需要存储在存储器中的信息。只有通过将当前信息与存储的信息进行比较的过程，才能实现图像识别。人工智能技术可基于人类识别能力进行输出，并处理、分析及理解图像，以识别不同模式的各种目标及物体。人工智能技术可代替人类自动处理大量图像信息，以解决人类在识别方面的生理缺陷问题，从而部分地代替人脑来工作。此外，人工智能可从图像数据中提取人们不知道或生理上不能识别的特征。
然而，在使用人工智能进行图像识别的情况下，人工智能识别的特征可能与人类识别的特征不一致。因此，在使用人工智能来确定图像的特征的情况下，输出对于人类来说有时可能是模糊不清的。
关于上述问题，还没有提出有效的解决方案。
发明内容
在本公开的实施例中提供一种确定图像数据的特征数据的方法、装置、系统及程序以及存储介质，以至少解决人工智能识别的特征可能与人类识别的特征不一致的技术问题。
根据本公开实施例的方面，提供一种确定图像数据的特征数据的方法，所述方法包括：获取图像数据的特征，所述特征包括第一特征及第二特征，其中，使用第一模型从所述图像数据中提取所述第一特征，所述第一模型是以机器学习方式进行训练，且使用第二模型从所述图像数据中提取第二特征，所述第二模型是基于预先配置的数据处理算法来构建的；以及基于所述第一特征及所述第二特征来确定特征数据。
以这种方式，通过分别借助于经训练的人工智能机器及存储传统图像特征提取算法的计算机来获取图像数据中的特征，并且比较通过这些不同方式提取的特征之间的差异，可学习人工智能机器的训练效果。
此外，在所述方法中，所述获取图像数据的特征包括以下步骤中的一者：从所述图像数据中提取所述第一特征，且从所述图像数据的所述第一特征所在的特征区域中提取所述第二特征；从所述图像数据中提取所述第二特征，且从所述图像数据的所述第二特征所在的特征区域中提取所述第一特征；以及针对全部所述图像数据提取所述第一特征及所述第二特征。
以这种方式，用户可基于对识别准确性的需求自由地选择从哪个区域提取第二特征。
通过串行地或并行地提取第一特征及第二特征，例如由基于人工智能的图像识别确定的特征可与人类识别的特征更加一致。
此外，在所述方法中，所述基于所述第一特征及所述第二特征来确定特征数据包括：基于所述第一特征与所述第二特征的比较结果，为所述第一特征或所述第二特征分配标签以作为所述特征数据。
通过为所述第一特征或所述第二特征分配标签，可帮助更清楚地显示基于不同方法确定的特征是否相同。
此外，在所述方法中，所述基于所述第一特征及所述第二特征来确定特征数据包括：如果所述第一特征不同于所述第二特征，则分别为所述第一特征及所述第二特征分配第一标签及第二标签以分别作为第一特征数据及第二特征数据；以及如果所述第一特征相同于所述第二特征，则为所述第一特征或所述第二特征分配第三标签以作为第三特征数据。
通过基于所述第一特征或所述第二特征的比较结果分配不同的标签，可帮助更清楚地显示基于不同方法确定的特征是否相同，并基于比较结果来输出特征数据。
此外，在所述方法中，所述特征数据表征所述图像数据的颜色特征、纹理特征、形状特征或空间关系特征。
通过将基于人工智能的图像识别技术与传统图像识别技术相组合，可更高效及快速地确定表征图像数据的颜色、纹理、形状或空间关系特征的特征数据。
根据本公开实施例的另一方面，还提供一种确定图像数据的特征数据的装置，所述装置包括：获取区段，用于获取图像数据的特征，所述特征包括第一特征及第二特征，其中，使用第一模型从所述图像数据中提取所述第一特征，所述第一模型是以机器学习方式进行训练，且使用第二模型从所述图像数据中提取第二特征，所述第二模型是基于预先配置的数据处理算法来构建的；以及确定区段，用于基于所述第一特征及所述第二特征来确定特征数据。
此外，在所述装置中，所述获取区段通过以下步骤中的一者来获取图像数据的特征：从所述图像数据中提取所述第一特征，且从所述图像数据的所述第一特征所在的特征区域中提取所述第二特征；从所述图像数据中提取所述第二特征，且从所述图像数据的所述第二特征所在的特征区域中提取所述第一特征；以及针对全部所述图像数据提取所述第一特征及所述第二特征。
此外，在所述装置中，所述确定区段基于所述第一特征与所述第二特征的比较结果，为所述第一特征或所述第二特征分配标签以作为所述特征数据。
此外，在所述装置中，如果所述第一特征不同于所述第二特征，则所述确定区段分别为所述第一特征及所述第二特征分配第一标签及第二标签以分别作为第一特征数据及第二特征数据；且如果所述第一特征相同于所述第二特征，则所述确定区段为所述第一特征或所述第二特征分配第三标签以作为第三特征数据。
此外，在所述装置中，所述特征数据表征所述图像数据的颜色特征、纹理特征、形状特征或空间关系特征。
根据本公开实施例的另一方面，还提供一种确定图像数据的特征数据的系统，所述系统包括：用于执行上述方法的处理单元；及用于输出特征数据的输出单元。
根据本公开实施例的另一方面，还提供一种确定图像数据的特征数据的程序，所述程序当被执行时执行上述方法。
根据本公开实施例的另一方面，还提供一种存储介质，所述存储介质上存储有程序，所述程序当被执行时执行上述方法。
在本公开的实施例中，说明性目的为解决人工智能识别的特征可能与人类识别的特征不一致的技术问题。
附图说明
本文描述的附图用于提供对本公开的进一步理解，并且构成本申请的一部分。本公开的示意性实施例及其说明用于解释本公开，且不构成对本公开的不当限制。在附图中：
图1是根据本公开实现模式的确定图像数据的特征数据的系统的硬件结构。
图2是根据本公开第一实施例的确定图像数据的特征数据的可选方法的示意图。
图3是根据本公开第二实施例的确定图像数据的特征数据的可选方法的示意图。
图4是根据本公开第三实施例的确定图像数据的特征数据的可选方法的示意图。
图5是根据本公开第一实施例的确定图像数据的特征数据的可选装置的示意图。
图6是根据本公开第二实施例的确定图像数据的特征数据的可选装置的示意图。
图7是根据本公开第三实施例的确定图像数据的特征数据的可选装置的示意图。
具体实施方式
为了使本领域中的技术人员更好地理解本公开的解决方案，下面参考本公开的实施例中的附图，清楚及完整地描述本公开的实施例中的技术解决方案。显而易见地，所描述的实施例仅是本公开的实施例的一部分，而非所有实施例。本领域中的一般技术人员基于本公开中的实施例在没有创造性努力的情况下获得的所有其他实施例将落在本公开的保护范围内。
应当注意，在本公开的说明及权利要求书以及前述附图中的术语“第一”、“第二”等用于区分相似的物体，且未必用于描述特定顺序或时间顺序。应当理解，如此使用的数据在适当的情况下可互换，使得本文描述的本公开的实施例可以与本文所示出或描述的顺序不同的顺序来实现。此外，术语“包括”及“具有”及其任何变型旨在涵盖非排他性的包含，例如，包括步骤或单元列表的过程、方法、系统、产品或器件不必受限于所列出的步骤或单元，而是可包括未明确列出的或这些过程、方法、产品或器件固有的其他步骤或单元。
根据本公开的实施例，提供一种确定图像数据的特征数据的方法。应当注意，附图的流程图中所示的步骤可在例如一组计算机可执行指令等计算机系统中执行，且尽管在流程图中示出逻辑顺序，但是在一些情况下，所示出或描述的步骤可以与本文的顺序不同的顺序来实行。
在本公开的确定图像数据的特征数据的方法的一个实施例中，以各种方式提取图像数据的特征，例如，通过借助于经训练的人工智能机器及存储传统图像特征提取算法的计算机分别获取图像数据的特征。通过比较通过这些各种方法提取的特征的差异，可知晓人工智能机器的训练效果，以有针对性地改进训练过程，同时提高以单一方法提取特征的准确性。可根据预定规则对以各种方法提取的图像数据的特征进行分类。例如，不同类型的特征可被分配不同的标签，使得所分类的特征数据可用于例如图像分析及统计、人工智能机器的训练等目的。此外，应当注意，此处的图像不限于所谓的二维图像，即，图像包括包含距离信息、热成像术等的三维图像。
首先，描述根据本公开实现模式的确定图像数据的特征数据的系统100的硬件结构。
图1是根据本公开实现模式的确定图像数据的特征数据的系统100的硬件结构的模式图。如图1所示，例如，确定图像数据的特征数据的系统100可由通用计算机架构的通用计算机实现。确定图像数据的特征数据的系统100可包括处理器110、主存储器112、存储器114、输入接口116、显示器接口118及通信接口120。这些部分可例如通过内部总线122相互通信。
处理器110在主存储器112上扩展存储在存储器114中的程序以供执行，从而实现下文描述的功能及处理。主存储器112可被结构化为非易失性存储器，且起处理器110的程序执行所需的工作存储器的作用。
输入接口116可与例如鼠标及键盘等输入单元连接，且通过操作者操作输入部分来接收指令输入。
显示器接口118可与显示器连接，且可向显示器输出由处理器110的程序执行而产生的各种处理结果。
通信接口120被配置成通过网络200与可编程逻辑控制器(Programmable LogicController，PLC)、数据库器件等通信。
存储器114可存储能够将计算机确定为确定图像数据的特征数据以实现功能的系统100的程序，例如，确定图像数据的特征数据的程序及操作系统(Operating System，OS)。
存储在存储器114中的确定图像数据的特征数据的程序可通过光学记录介质(例如数字通用光盘(Digital Versatile Disc，DVD))或半导体记录介质(例如通用串行总线(Universal Serial Bus，USB)存储器)安装在识别系统100中。或者，确定图像数据的特征数据的程序也可从网络上的服务器器件等下载。
根据实现模式的确定图像数据的特征数据的程序也可以与另一程序相组合的方式来提供。在这种情况下，确定图像数据的特征数据的程序不包括包含在这种组合的另一程序中的模块，而是与另一程序协作来进行处理。因此，根据实现模式的确定图像数据的特征数据的程序也可呈与另一程序相组合的形式。
图2是根据本公开第一实施例的确定图像数据的特征数据的可选方法的示意图。如图1所示，所述方法包括以下步骤。
在步骤S102中，获取图像数据。例如，获取由照相机等实时拍摄的图像数据。此外，还可接收图像数据，例如，通过网络传输图像数据。在一些情况下，需要预先收集或传输多张图片，以收集大量图像数据供以后识别及分析。
在步骤S104中，获取图像数据的第一特征。具体来说，通过第一模型从在步骤S102中获得的图像数据中获取第一特征，第一模型包括基于人工智能的模型，例如以机器学习方式训练的人工神经网络模型。通常，人工神经网络模型的构建及使用包括两个相关联的阶段，即学习阶段及实现阶段。前者是选择样本的特征并找到分类规则。后者是根据分类规则对未知样本集进行分类及识别。
在图像识别过程中，图像识别机制必须排除冗余的输入信息，并提取关键信息。第一特征可为图像数据的颜色特征、纹理特征、形状特征或空间关系特征。其中，颜色特征是全局特征，所述全局特征描述与图像或图像区域对应的场景的表面性质。一般颜色特征是基于像素点的特征，属于图像或图像区域的所有像素都对所述基于像素点的特征具有自己的贡献。纹理特征也是全局特征，所述全局特征也描述与图像或图像区域对应的场景的表面性质。空间关系特征是指从图像分割的多个物体之间的相互空间位置或相对方向关系，且所述关系还可被划分为连接/邻接关系、重叠/叠加关系以及包含/接收关系。一般来说，空间位置信息可被划分为两类：相对空间位置信息及绝对空间位置信息。
在步骤S106中，获取图像数据的第二特征。具体来说，通过第二模型从在步骤S102中获得的图像数据中获取第二特征，第二模型是基于预先配置的数据处理算法(例如用于边缘检测的算法，如基于过零的算法(zero-crossing based algorithm))构建的。类似于第一特征，第二特征可为图像数据的形状特征、边缘特征、灰度特征、颜色特征、纹理特征、空间关系特征等。其中，边缘检测用于检测局部图像亮度变化最显著的部分，且边缘检测是检测显著局部图像变化的最基本操作。另外，灰度特征是局部特征而不是全局特征，且可为由每个像素的灰度值的差异表示的特征。因此，边缘特征可被视为灰度特征的实例。
在步骤S104中获取图像数据的第一特征或者在步骤S106中获取第二特征之前，可增强在步骤S102中获取的图像数据。例如，为了更有利于图像数据提取及识别，可通过对图像数据进行预处理来移除一些不必要的或干扰信息。例如，可通过空间域增强处理及频域图像增强处理来增强在步骤S102中获取的图像数据。
在步骤S108中，将在步骤S104中获取的第一特征与在步骤S106中获取的第二特征进行比较，以判断第一特征与第二特征是否相同。应当注意，此处的“相同”不仅包括完全相同的情况，还包括这两者之差小于预定阈值的情况。可根据由第一特征及第二特征表征的图像数据的特征来选择用于实行上述比较的阈值或阈值范围。例如，在第一特征及第二特征表征图像数据的形状特征的情况下，可选择第一阈值，且在第一特征与第二特征之差小于或等于第一阈值的情况下，确定出在S104中获取的第一特征与在步骤S106中获取的第二特征是相同的。例如，在第一特征及第二特征表征图像数据的灰度特征的情况下，可选择第二阈值，且在第一特征与第二特征之差小于或等于第二阈值的情况下，确定出在步骤S104中获取的第一特征与在步骤S106中获取的第二特征是相同的。此外，在第一特征及第二特征的数学形式不同的情况下，可实行归一化处理，以将第一特征及第二特征转换成相同的形式，以用于进一步比较。
在步骤S108中确定出第一特征与第二特征不同的情况下，过程前进到步骤S112，在步骤S112中分别为第一特征及第二特征分配第一标签及第二标签，且分别将第一特征及第二特征视为第一特征数据及第二特征数据；接下来，过程前进到步骤S114，在步骤S114中输出第一标签及第二标签，且输出第一特征数据和/或第二特征数据作为特征数据，并且过程因此结束。
在步骤S108中确定出第一特征与第二特征相同的情况下，过程前进到步骤S110，在步骤S110中为第一特征或第二特征分配第三标签，且将第一特征或第二特征视为第三特征数据；接下来，过程前进到步骤S114，在步骤S114中输出第三标签且输出第三特征数据作为特征数据，并且过程因此结束。
此处，例如，分配给第一特征及第二特征的标签可采用以下值中的一者：0、1、2。在为第一特征分配标签0并且为第二特征分配标签1的情况下，此指示第一特征与第二特征是不同的。在为第一特征或第二特征分配标签2的情况下，此指示第一特征与第二特征是相同的。因此，通过为标签分配值0、1、2，可确定通过第一模型获得的第一特征与通过第二模型获得的第二特征具有相同的可能性，从而进一步提高识别的准确性。
此外，可根据预定规则对在步骤S104中获取的第一特征及在步骤S106中获取的第二特征进行处理，例如分类。例如，根据统计模型，可判断所获取的特征是否满足特定分布规则。具体来说，在特征提取阶段获得的特征被界定为处于含有所有特征的特征空间中。不同的特征或不同类型的物体对应于空间中的点。在分类阶段，利用统计决策原理划分特征空间，以实现识别具有不同特征的物体的目的。统计模式识别的基本原理是具有相似性的样本在模式空间中相互接近并形成一“组”。其分析方法是根据所测量的特征向量Xi＝(xi1,xi2,...,xid)T(i＝1,2,...,N)将给定模式分类成C类，并根据模式之间的距离的函数来确定分类。其中，T代表转置；N是样本点的数量；且d是样本特征的数量。接下来，不同类别的特征可被分配不同的标签，使得所分类的特征数据可用于图像分析及统计、人工智能机器的训练等。
通过上述步骤，通过将人工智能确定方法与传统图像识别算法的确定结果的确定方法相组合，会实现改善确定结果作为输出的说明性目的，从而实现人工智能识别的特征与人类识别的特征更加一致的技术效果。
传统图像识别算法(例如边缘检测算法)的确定结果与人眼识别的结果相似的原因在于由这些传统图像识别算法计算出的形状特征、边缘特征、灰度特征及颜色特征等与人眼识别的特征相似。
其中，人工智能确定方法可用于人脸检测、产品外观检查、缺陷检查、垃圾邮件检测等。例如，所述方法可应用于在移动电话、智能电话或其他类似移动器件上设置的组件，以确定特征数据。当在驾驶车辆的情况下使用确定特征数据的组件来识别移动的物体时，移动器件是能够附着到车辆以获取出现在车辆附近(例如，前方)的移动体(例如，行人、动物、车辆)或静止的物体(例如，静止的障碍物、路标、交通灯)的器件。
此外，当确定出由人工智能识别的特征与由人类识别的特征不一致时，可关于图像中的物体的何种特征来确定所述确定方法具有低识别准确性，从而可随后训练人工智能系统。例如，可添加具有特定特征的图像作为训练数据，以使人工智能系统能够对特定特征实行增强的训练，从而提高特定特征的识别准确性。
应当注意，作为另一选择，在这种方法中，步骤S104及步骤S106的顺序可颠倒，或者步骤S104及步骤S106可同时实行。另外，上述处理可根据需要在步骤S108处结束，从而省略步骤S110、S112、S114。此外，根据需要，可仅实行在步骤S108中确定出第一特征与第二特征相同的情况下实行的分支操作，即，省略步骤S112。其中，在步骤S114中输出的特征数据表征在步骤S102中获取的图像数据的颜色特征、纹理特征、形状特征或空间关系(例如，邻接、连接、区域及边界、距离度量)特征。通过上述方法获取的图像数据的颜色特征、纹理特征、形状特征或空间关系特征可用于损伤检测及疾病诊断。例如，通过上述方法识别内窥镜图像，使得所输出的特征数据可用于检测所测试对象是否患有癌症。
图3是根据本公开第二实施例的确定图像数据的特征数据的可选方法的示意图。与第一实施例不同的部分是步骤S204及S206，且下面仅描述不同的部分。
在步骤S204中，提取图像数据的第一特征。具体来说，通过第一模型从在步骤S202中获得的图像数据中提取第一特征，且第一模型是以机器学习方式进行训练，例如，第一模型是基于人工智能的模型。
在步骤S206中，提取第二特征。具体来说，通过第二模型从在步骤S204中提取的第一特征所在的特征区域中提取第二特征，其中，第二模型是基于预先配置的数据处理算法构建的，例如，第二模型是基于边缘检测的模型。
在根据本公开的第二实施例中，其特别适用于当第一特征与第二特征相同时仅需要提取第一特征及第二特征的情况。
应当注意，作为另一选择，在所述方法中，上述处理可根据需要在步骤S208处结束，从而省略步骤S210、S212及S214。此外，根据需要，可仅实行在步骤S208中确定出第一特征与第二特征相同的情况下实行的分支操作，即，省略步骤S212。其中，在步骤S214中输出的特征数据表征在步骤S202中获取的图像数据的颜色特征、纹理特征、形状特征或空间关系特征。通过上述方法获取的图像数据的颜色特征、纹理特征、形状特征或空间关系特征可用于损伤检测及疾病诊断。例如，通过上述方法识别内窥镜图像，使得所输出的特征数据可用于检测所测试对象是否患有癌症。
图4是根据本公开第三实施例的确定图像数据的特征数据的可选方法的示意图。与第一实施例不同的部分是步骤S304及S306，且下面仅描述不同的部分。
在步骤S304中，提取图像数据的第二特征。具体来说，通过第二模型从在步骤S202中获得的图像数据中提取第二特征，其中，第二模型是基于预先配置的数据处理算法构建的，例如，第二模型是基于边缘检测的模型。
在步骤S306中，提取第一特征。具体来说，通过第一模型从在步骤S304中提取的第二特征所在的特征区域中提取第一特征，且第一模型是以机器学习方式进行训练，例如，第一模型是基于人工智能的模型。
应当注意，作为另一选择，在所述方法中，上述处理可根据需要在步骤S308处结束，从而省略步骤S310、S312及S314。此外，可仅实行在步骤S308中确定出第一特征与第二特征相同的情况下实行的分支操作，即，省略步骤S312。其中，在步骤S314中输出的特征数据表征在步骤S302中获取的图像数据的颜色特征、纹理特征、形状特征或空间关系特征。
上述一系列处理可通过硬件或软件来执行。在一系列过程是由软件执行的情况下，优选地具有用作能够执行软件的计算机的配置。计算机的实例包括并入专用硬件中的计算机及能够通过安装在其中的各种程序执行任意功能的通用计算机。
在具有上述配置的计算机中，例如，通过经由输入/输出接口及总线将存储在存储单元中的程序加载到随机存取存储器(random access memory，RAM)上并执行所述程序，中央处理器(Center Processing Unit，CPU)能够实现与上述每个器件的硬件配置的一部分或全部等效的功能。换句话说，实行上述一系列过程中的至少一些。随机存取存储器还适当地存储中央处理器执行各种过程所需的数据等。
图5是根据本公开第一实施例的确定图像数据的特征数据的可选装置的示意图。所述装置包括获取区段40、第一识别区段42、第二识别区段44及确定区段46。接下来，将详细描述每个部分。
获取区段40、第一识别区段42、第二识别区段44及确定区段46可由上述处理器110实现，且其划分或组合不受限制。此外，这些区段的部分或全部功能也可通过专用电路(例如，应用专用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编程门阵列(Field-Programmable Gate Array，FPGA))来实现。此外，与网络连接的外部器件也可负责部分处理。
获取区段40可为被配置成获取图像数据的照相机。第一识别区段42连接到获取区段40。第一识别区段42接收由获取区段40获取的图像数据，且获取图像数据的第一特征。具体来说，在第一识别区段42中，通过以机器学习方式训练的第一模型(例如基于人工智能的模型)从由获取区段40获取的图像数据中获取第一特征。第二识别区段44连接到获取区段40。第二识别区段44接收由获取区段40获取的图像数据，且获取图像数据的第二特征。具体来说，在第二识别区段44中，通过基于预先配置的数据处理算法构建的第二模型(例如，基于边缘检测的模型)，从由获取区段40获取的图像数据中获取第二特征。确定区段46包括确定及标记区段46-1以及输出区段46-2。确定及标记区段46-1被配置成比较由第一识别区段42获取的第一特征与由第二识别区段44获取的第二特征，以判断第一特征与第二特征是否相同。另外，确定及标记区段46-1还被配置成，在确定出第一特征与第二特征不同的情况下，分别为第一特征及第二特征分配第一标签及第二标签，且分别将第一特征及第二特征视为第一特征数据及第二特征数据，并且在确定出第一特征与第二特征相同的情况下，为第一特征或第二特征分配第三标签，且将第一特征或第二特征视为第三特征数据。输出区段46-2被配置成，在确定及标记区段46-1确定出第一特征与第二特征不同的情况下，输出第一标签及第二标签，且输出第一特征数据和/或第二特征数据作为特征数据，并且在确定及标记区段46-1确定出第一特征与第二特征相同的情况下，输出第三标签且输出第三特征数据作为特征数据。其中，输出区段46-2可为显示器。
通过上述步骤，通过将人工智能确定方法与接近人类确定结果的确定方法相组合，会实现改善确定结果作为输出的说明性目的，从而实现人工智能识别的特征与人类识别的特征更加一致的技术效果。
应当注意，作为另一选择，在第一识别区段42及第二识别区段44中实行的处理可并行或串行执行。在串行执行在第一识别区段42及第二识别区段44中实行的处理的情况下，两者的时间顺序可为任意的。另外，根据需要，可从上述装置中省略确定区段46中的输出区段46-2。其中，由输出区段46-2输出的特征数据表征由获取区段40获取的图像数据的颜色特征、纹理特征、形状特征或空间关系特征。通过上述方法获取的图像数据的颜色特征、纹理特征、形状特征或空间关系特征可用于损伤检测及疾病诊断。例如，通过上述方法识别内窥镜图像，使得所输出的特征数据可用于检测所测试对象是否患有癌症。
图6是根据本公开第二实施例的确定图像数据的特征数据的可选装置的示意图。与第一实施例不同的部分是第一识别区段52及第二识别区段54，且下面仅描述不同的部分。
第一识别区段52连接到获取区段50。第一识别区段52接收由获取区段50获取的图像数据，且提取图像数据的第一特征。具体来说，在第一识别区段52中，通过以机器学习方式训练的第一模型(例如基于人工智能的模型)从由获取区段50获取的图像数据中提取第一特征。第二识别区段54连接到第一识别区段52，且第二识别区段54提取第二特征。具体来说，从在第一识别区段52中提取的第一特征所在的特征区域中提取第二特征，其中，第二模型是基于预先配置的数据处理算法构建的，例如，第二模型是基于边缘检测的模型。
图7是根据本公开第二实施例的确定图像数据的特征数据的可选装置的示意图。与第一实施例不同的装置的部分是第二识别区段62及第一识别区段64，且下面仅描述不同的部分。
第二识别区段62连接到获取区段60。第二识别区段62接收由获取区段60获取的图像数据，且提取图像数据的第二特征。具体来说，在第二识别区段62中，通过基于预先配置的数据处理算法构建的第二模型(例如，基于边缘检测的模型)，从由获取区段60获取的图像数据中提取第二特征。第一识别区段64连接到第二识别区段62，且第一识别区段64提取第一特征。具体来说，通过以机器学习方式训练的第一模型(例如基于人工智能的模型)，从由第二识别区段62提取的第二特征所在的特征区域提取第一特征。本公开的上述实施例的序列号仅是为了描述的目的，并不代表实施例的优点及缺点。
在本公开的前述实施例中，每个实施例的描述都具有其自己的重点。对于在一个实施例中没有详细描述的部分，可参考其他实施例中的相关描述。
在本申请中提供的几个实施例中，应当理解，所公开的技术内容可以其他方式实现。上述装置实现方式仅是示例性的。例如，单元划分可为逻辑功能划分，且在实际实现中可为其他划分。例如，多个单元或组件可被组合或可被集成到另一个系统中，或者一些特征可被忽略或不执行。此外，所示或所讨论的相互耦合或直接耦合或通信连接可为通过一些接口、单元或模块的间接耦合或通信连接，且可为电形式或其他形式。
被描述为单独组件的单元可为实体分离的，或可不为实体分离的。显示为单元的组件可为实体单元或可不为实体单元，也就是说，可位于一个地方中，或者可分布在多个单元上。可根据实际需要选择一些或所有单元，以实现实施例的解决方案的目标。
另外，本公开的实施例中的每个功能单元可集成在一个处理单元中，或者每个单元可单独地处于一个单元中，或者两个或更多个单元可集成在一个单元中。上述集成单元可以硬件的形式或软件功能单元的形式实现。
如果集成单元以软件功能单元的形式实现，且作为独立产品销售或使用，则集成单元可存储在计算机可读存储介质中。基于这种理解，本公开的技术解决方案本质上或对现有技术有贡献的部分，或全部或部分技术解决方案可以存储在存储介质中的软件产品的形式来实现，包括用于使计算机器件(例如个人计算机、服务器或网络器件)执行根据本公开实施例的方法的全部或部分步骤的若干指令。前述存储介质包括能够存储程序代码的各种介质，例如USB闪存驱动器、只读存储器(read-only memory，ROM)、随机存取存储器(RAM)、可移动硬盘、磁盘或光盘。
前述仅是本公开的优选实施例，且应当注意，本领域中的一般技术人员可在不背离本公开的原理的情况下进行一些改进及修改。这些改进及修改应被视为处于本公开的保护范围内。

Claims (13)

1.一种确定图像数据的特征数据的方法，包括：
获取所述图像数据的特征，所述特征包括第一特征及第二特征，其中，使用第一模型从所述图像数据中提取所述第一特征，所述第一模型是以机器学习方式来训练，且使用第二模型从所述图像数据中提取所述第二特征，所述第二模型是基于预先配置的数据处理算法构建的；及
基于所述第一特征及所述第二特征来确定所述特征数据。
2.根据权利要求1所述的方法，其中，所述获取所述图像数据的特征包括以下步骤中的一者：
从所述图像数据中提取所述第一特征，且从所述图像数据的所述第一特征所在的特征区域中提取所述第二特征；
从所述图像数据中提取所述第二特征，且从所述图像数据的所述第二特征所在的特征区域中提取所述第一特征；以及
针对全部所述图像数据提取所述第一特征及所述第二特征。
3.根据权利要求1或2所述的方法，其中，所述基于所述第一特征及所述第二特征来确定所述特征数据包括：
基于所述第一特征与所述第二特征的比较结果，为所述第一特征或所述第二特征分配标签以作为所述特征数据。
4.根据权利要求1或2所述的方法，其中，所述基于所述第一特征及所述第二特征来确定所述特征数据包括：
如果所述第一特征不同于所述第二特征，则分别为所述第一特征及所述第二特征分配第一标签及第二标签以分别作为第一特征数据及第二特征数据；及
如果所述第一特征相同于所述第二特征，则为所述第一特征或所述第二特征分配第三标签以作为第三特征数据。
5.根据权利要求1或2所述的方法，其中，
所述特征数据表征所述图像数据的亮度特征、颜色特征、纹理特征、形状特征或空间关系特征。
6.一种确定图像数据的特征数据的装置，包括：
获取区段，用于获取所述图像数据的特征，所述特征包括第一特征及第二特征，其中，使用第一模型从所述图像数据中提取所述第一特征，所述第一模型是以机器学习方式进行训练，且使用第二模型从所述图像数据中提取所述第二特征，所述第二模型是基于预先配置的数据处理算法构建的；及
确定区段，用于基于所述第一特征及所述第二特征来确定所述特征数据。
7.根据权利要求6所述的装置，其中，所述获取区段通过以下步骤中的一者来获取所述图像数据的所述特征：
从所述图像数据中提取所述第一特征，且从所述图像数据的所述第一特征所在的特征区域中提取所述第二特征；
从所述图像数据中提取所述第二特征，且从所述图像数据的所述第二特征所在的特征区域中提取所述第一特征；以及
针对全部所述图像数据提取所述第一特征及所述第二特征。
8.根据权利要求6或7所述的装置，其中，所述确定区段：
基于所述第一特征与所述第二特征的比较结果，为所述第一特征或所述第二特征分配标签以作为所述特征数据。
9.根据权利要求6或7所述的装置，其中，所述确定区段：
如果所述第一特征不同于所述第二特征，则分别为所述第一特征及所述第二特征分配第一标签及第二标签以分别作为第一特征数据及第二特征数据；及
如果所述第一特征相同于所述第二特征，则分别为所述第一特征或所述第二特征分配第三标签以作为第三特征数据。
10.根据权利要求6或7所述的装置，其中，
所述特征数据表征所述图像数据的颜色特征、纹理特征、形状特征或空间关系特征。
11.一种确定图像数据的特征数据的系统，包括：
处理单元，用于执行如权利要求1至5中任一项所述的方法；及
输出单元，用于输出所述特征数据。
12.一种确定图像数据的特征数据的程序，其特征在于，所述程序当被执行时，执行如权利要求1至5中任一项所述的方法。
13.一种存储介质，所述存储介质上存储有程序，所述程序当被执行时执行如权利要求1至5中任一项所述的方法。
CN201880088622.0A 2018-03-05 2018-03-05 确定图像数据的特征数据的方法、装置、系统及存储介质 Active CN111684461B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2018/051390 WO2019171118A1 (en) 2018-03-05 2018-03-05 Method, apparatus, system and program for determining feature data of image data, and storage medium

Publications (2)

Publication Number Publication Date
CN111684461A true CN111684461A (zh) 2020-09-18
CN111684461B CN111684461B (zh) 2023-10-20

Family

ID=62104330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880088622.0A Active CN111684461B (zh) 2018-03-05 2018-03-05 确定图像数据的特征数据的方法、装置、系统及存储介质

Country Status (5)

Country Link
US (1) US11461996B2 (zh)
EP (1) EP3762865A1 (zh)
JP (1) JP7040624B2 (zh)
CN (1) CN111684461B (zh)
WO (1) WO2019171118A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111684461B (zh) * 2018-03-05 2023-10-20 欧姆龙株式会社 确定图像数据的特征数据的方法、装置、系统及存储介质
CN111476773A (zh) * 2020-04-07 2020-07-31 重庆医科大学附属儿童医院 一种耳廓畸形分析识别方法、系统、介质和电子终端
US11335108B2 (en) * 2020-08-10 2022-05-17 Marlabs Incorporated System and method to recognise characters from an image

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1960431A (zh) * 2005-11-02 2007-05-09 欧姆龙株式会社 图像处理装置、方法及其程序和存储该程序的存储介质
CN101038623A (zh) * 2006-03-13 2007-09-19 欧姆龙株式会社 特征点检测装置、特征点检测方法及特征点检测程序
JP2009169518A (ja) * 2008-01-11 2009-07-30 Kddi Corp 領域識別装置およびコンテンツ識別装置
US8027521B1 (en) * 2008-03-25 2011-09-27 Videomining Corporation Method and system for robust human gender recognition using facial feature localization
CN103714338A (zh) * 2012-09-28 2014-04-09 欧姆龙株式会社 图像处理装置和图像处理方法
CN104281843A (zh) * 2014-10-20 2015-01-14 上海电机学院 基于自适应特征和分类模型选择的图像识别方法及系统
KR101491461B1 (ko) * 2013-08-02 2015-02-23 포항공과대학교 산학협력단 공분산 기술자를 이용하는 물체 인식 방법 및 장치
CN106446754A (zh) * 2015-08-11 2017-02-22 阿里巴巴集团控股有限公司 图像识别方法、度量学习方法、图像来源识别方法及装置
US20170116744A1 (en) * 2015-10-23 2017-04-27 International Business Machines Corporation Imaging segmentation using multi-scale machine learning approach
CN107463960A (zh) * 2017-08-07 2017-12-12 石林星 一种图像识别方法及装置
EP3255586A1 (en) * 2016-06-06 2017-12-13 Fujitsu Limited Method, program, and apparatus for comparing data graphs
US20180033147A1 (en) * 2016-07-26 2018-02-01 Intuit Inc. Label and field identification without optical character recognition (ocr)
US20180032801A1 (en) * 2016-07-27 2018-02-01 International Business Machines Corporation Inferring body position in a scan

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3975668B2 (ja) 2000-10-31 2007-09-12 コニカミノルタホールディングス株式会社 特徴量正誤判定方法および画像処理装置
JP4397667B2 (ja) 2003-10-06 2010-01-13 富士フイルム株式会社 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
US9760799B2 (en) * 2010-03-10 2017-09-12 Tandent Vision Science, Inc. Pipeline for generating an intrinsic image
KR101630286B1 (ko) * 2010-08-09 2016-06-15 한화테크윈 주식회사 전경 및 배경 분리 장치 및 방법
WO2017027475A1 (en) * 2015-08-07 2017-02-16 Jianming Liang Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
US10127660B2 (en) * 2015-12-30 2018-11-13 Case Western Reserve University Radiomic features on diagnostic magnetic resonance enterography
US10395362B2 (en) * 2017-04-07 2019-08-27 Kla-Tencor Corp. Contour based defect detection
KR102425578B1 (ko) * 2017-08-08 2022-07-26 삼성전자주식회사 객체를 인식하는 방법 및 장치
CN111684461B (zh) * 2018-03-05 2023-10-20 欧姆龙株式会社 确定图像数据的特征数据的方法、装置、系统及存储介质
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same
US11689526B2 (en) * 2019-11-19 2023-06-27 Paypal, Inc. Ensemble method for face recognition deep learning models
US10997752B1 (en) * 2020-03-09 2021-05-04 Adobe Inc. Utilizing a colorization neural network to generate colorized images based on interactive color edges
US11886953B2 (en) * 2020-04-13 2024-01-30 Position Imaging, Inc. Computer vision system and method of label detection, reading, and registration of labels on objects

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1960431A (zh) * 2005-11-02 2007-05-09 欧姆龙株式会社 图像处理装置、方法及其程序和存储该程序的存储介质
CN101038623A (zh) * 2006-03-13 2007-09-19 欧姆龙株式会社 特征点检测装置、特征点检测方法及特征点检测程序
JP2009169518A (ja) * 2008-01-11 2009-07-30 Kddi Corp 領域識別装置およびコンテンツ識別装置
US8027521B1 (en) * 2008-03-25 2011-09-27 Videomining Corporation Method and system for robust human gender recognition using facial feature localization
CN103714338A (zh) * 2012-09-28 2014-04-09 欧姆龙株式会社 图像处理装置和图像处理方法
KR101491461B1 (ko) * 2013-08-02 2015-02-23 포항공과대학교 산학협력단 공분산 기술자를 이용하는 물체 인식 방법 및 장치
CN104281843A (zh) * 2014-10-20 2015-01-14 上海电机学院 基于自适应特征和分类模型选择的图像识别方法及系统
CN106446754A (zh) * 2015-08-11 2017-02-22 阿里巴巴集团控股有限公司 图像识别方法、度量学习方法、图像来源识别方法及装置
US20170116744A1 (en) * 2015-10-23 2017-04-27 International Business Machines Corporation Imaging segmentation using multi-scale machine learning approach
EP3255586A1 (en) * 2016-06-06 2017-12-13 Fujitsu Limited Method, program, and apparatus for comparing data graphs
US20180033147A1 (en) * 2016-07-26 2018-02-01 Intuit Inc. Label and field identification without optical character recognition (ocr)
US20180032801A1 (en) * 2016-07-27 2018-02-01 International Business Machines Corporation Inferring body position in a scan
CN107463960A (zh) * 2017-08-07 2017-12-12 石林星 一种图像识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAOYAN SUN等: "Scalable Object Retrieval with Compact Image Representation from Generic Object Regions", ACM TRANSACTIONS ON MULTIMEDIA COMPUTING COMMUNICATIONS AND APPLICATIONS，ASSOCIATION FOR COMPUTING MACHINERY, vol. 12, no. 2, pages 1 - 29 *

Also Published As

Publication number Publication date
JP7040624B2 (ja) 2022-03-23
US20210049398A1 (en) 2021-02-18
US11461996B2 (en) 2022-10-04
CN111684461B (zh) 2023-10-20
JP2021516385A (ja) 2021-07-01
WO2019171118A1 (en) 2019-09-12
EP3762865A1 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
US10456009B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
Nalepa et al. Validating hyperspectral image segmentation
Oliveira et al. CrackIT—An image processing toolbox for crack detection and characterization
US20170103258A1 (en) Object detection method and object detection apparatus
EP2919162A1 (en) Image processing apparatus and image processing method
EP3407258B1 (en) Image processing device, image processing system, and program
JP4788525B2 (ja) 物体識別パラメータ学習システム、物体識別パラメータ学習方法および物体識別パラメータ学習用プログラム
CN111684461B (zh) 确定图像数据的特征数据的方法、装置、系统及存储介质
Alharbi et al. Automatic counting of wheat spikes from wheat growth images
US8731278B2 (en) System and method for sectioning a microscopy image for parallel processing
Ciampi et al. Counting Vehicles with Cameras.
Zitnick et al. The role of image understanding in contour detection
Fathi et al. General rotation-invariant local binary patterns operator with application to blood vessel detection in retinal images
Lee et al. An efficient shape analysis method for shrimp quality evaluation
Li et al. Sublingual vein extraction algorithm based on hyperspectral tongue imaging technology
Hazelhoff et al. Large-scale classification of traffic signs under real-world conditions
Patki et al. A review: Cotton leaf disease detection
Coţovanu et al. Detection of traffic signs based on Support Vector Machine classification using HOG features
Hirata et al. Plankton image classification based on multiple segmentations
Chang et al. Single-shot person re-identification based on improved random-walk pedestrian segmentation
Saifullah et al. Palm Oil Maturity Classification Using K-Nearest Neighbors Based on RGB and L* a* b Color Extraction
KR101032581B1 (ko) 유해영상 자동 판별 방법
Avila et al. Shadow detection in complex images using neural networks: application to wine grape seed segmentation
Kosala et al. MSER-Vertical Sobel for Vehicle Logo Detection
Khodadadzadeh et al. Combination of region-based and pixel-based hyperspectral image classification using erosion technique and MRF model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant