CN112861900B - 影像系统及检测方法 - Google Patents

影像系统及检测方法 Download PDF

Info

Publication number
CN112861900B
CN112861900B CN201911232929.6A CN201911232929A CN112861900B CN 112861900 B CN112861900 B CN 112861900B CN 201911232929 A CN201911232929 A CN 201911232929A CN 112861900 B CN112861900 B CN 112861900B
Authority
CN
China
Prior art keywords
cluster
value
processing unit
image
grouping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911232929.6A
Other languages
English (en)
Other versions
CN112861900A (zh
Inventor
张均东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN112861900A publication Critical patent/CN112861900A/zh
Application granted granted Critical
Publication of CN112861900B publication Critical patent/CN112861900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本揭示内容关于一种影像系统及检测方法。影像系统的检测方法包含下列步骤：透过影像系统的处理单元，接收多个终端装置传来的多的辨识标记数据组。判断辨识标记数据组与影像数据的匹配程度值，且从储存单元内取得对应于所述多个终端装置的多个权重值。将权重值及对应的匹配程度值设定为多个标记点，且透过分群演算法，将标记点分为多个标记分群。计算出最大的标记分群的分群重心点，其中分群重心点对应于分群权重值及分群匹配值。在分群权重值或分群匹配值符合调整条件的情况下，根据最大的标记分群校正神经网络单元。

Description

影像系统及检测方法
技术领域
本揭示内容关于一种影像系统及检测方法，特别是能接收影像，并对影像进行标记的技术。
背景技术
科技的进步正逐渐改变着人们的生活。以影像辨识技术为例，透过人工智能(Artificial Intelligence)、机器学习(Machine Learning)与网络技术的结合，计算机将能自动地进行精确的判断及动作，而被广泛地应用于道路交通、医疗保健、工业生产等各层面。
然而，影像辨识技术需要大量的数据，以对计算机进行机器学习并建构出学习模型。此外，用以机器学习的数据还必须经过标记(label)而分类储存。“标记”是指将影像中的特定物件进行标示，例如：在一张影像中圈选出“汽车”的对应范围。标记的正确性将直接影响到计算机的机器学习的效果。
发明内容
本揭示内容的一态样为一种影像系统的检测方法，包含下列步骤：透过影像系统的处理单元接收多个终端装置传来的多个辨识标记数据组。辨识标记数据组对应于储存单元内的影像数据。判断辨识标记数据组与影像数据间的匹配程度值，且匹配程度值对应于终端装置。从储存单元中取得对应于终端装置的多个权重值。将权重值与对应的匹配程度值设定为标记点，且透过分群演算法，将标记点分为多个标记分群。根据所述多个标记分群中的最大者，计算分群重心点。分群重心点对应于分群权重值及分群匹配值。在判断分群权重值或分群匹配值符合调整条件的情况下，根据标记分群中的最大者校正神经网络单元。
在本揭示内容的一实施例中，判断辨识标记数据组与影像数据间的匹配程度值的方法包含：比对辨识标记数据组之间的相似程度，以将比对结果作为匹配程度值。
在本揭示内容的一实施例中，判断辨识标记数据组与影像数据间的匹配程度值的方法包含：利用神经网络单元对影像数据进行运算，以取得预测数据组。比对辨识标记数据组与预测数据组间的相似程度，以将比对结果作为匹配程度值。
在本揭示内容的一实施例中，判断分群权重值或分群匹配值符合调整条件的方法包含：判断分群匹配值是否低于匹配门槛值。
在本揭示内容的一实施例中，判断分群权重值或分群匹配值符合调整条件的方法还包含：判断分群权重值是否低于权重门槛值。
在本揭示内容的一实施例中，检测方法还包含：透过校正后的神经网络单元，在服务器建立影像辨识程序。接收远端装置上传至至服务器的原始影像。根据校正后的神经网络单元对原始影像进行计算，以建构影像模块。
在本揭示内容的一实施例中，辨识标记数据组中的一者包含至少二对角座标值。二对角座标值用以对应于该影像数据中的矩形区域。
在本揭示内容的一实施例中，检测方法还包含：透过处理单元，传送测试影像至终端装置。接收终端装置回传的多个测试标记数据组。将测试标记数据组与储存单元内的正确标记数据组进行比对，以根据比对结果产生权重值。
本揭示内容的另一态样为一种影像系统，包含神经网络单元、储存单元及处理单元。储存单元用以储存影像数据及多个权重值。权重值对应于连线至影像系统的多个终端装置。处理单元电性或通讯连接于储存单元及神经网络单元。处理单元用以根据终端装置传来的多个辨识标记数据组，判断辨识标记数据组与影像数据间的多个匹配程度值。处理单元还用以将权重值与对应的匹配程度值设定为多个标记点，且透过分群演算法将标记点分为多个标记分群。处理单元还用以根据所述多个标记分群中的最大者，计算分群重心点，且在判断分群重心点符合调整条件的情况下，根据标记分群中的最大者校正神经网络单元。
在本揭示内容的一实施例中，分群重心点对应于分群权重值及分群匹配值。处理单元在判断分群权重值或分群匹配值符合调整条件的情况下，根据标记分群中的最大者校正神经网络单元。
在本揭示内容的一实施例中，处理单元用以比对辨识标记数据组之间的相似程度，以将比对结果作为匹配程度值。
在本揭示内容的一实施例中，处理单元用以利用神经网络单元对该影像数据进行运算，以取得预测数据组。处理单元还用以比对辨识标记数据组与预测数据组间的相似程度，以将比对结果作为匹配程度值。
在本揭示内容的一实施例中，处理单元用以判断分群匹配值是否低于匹配门槛值。
在本揭示内容的一实施例中，处理单元用以判断分群权重值是否低于权重门槛值。
在本揭示内容的一实施例中，辨识标记数据组中的一者包含至少二对角座标值。二对角座标值用以对应于该影像数据中的矩形区域。
在本揭示内容的一实施例中，处理单元还用以传送测试影像至所述多个终端装置，且接收终端装置回传的多个测试标记数据组。处理单元还用以将测试标记数据组与储存单元内的正确标记数据组进行比对，以根据比对结果产生权重值。
据此，透过多个终端装置提供的多个辨识标记数据组，处理单元将能设定标记点，并透过分群演算法，判断标记点的匹配程度趋势。若标记点呈现出的匹配程度趋势不符合常理(如：权重值高者雀匹配程度低)，代表神经网络单元的预测能力不够完善，而可对神经网络单元做进一步的校正，输入新的学习数据，以更新神经网络单元内的影像辨识程序。
附图说明
图1A及图1B为根据本揭示内容的部分实施例所绘示的影像系统的示意图；
图2为根据本揭示内容的部分实施例所绘示的影像数据的示意图；
图3为根据本揭示内容的部分实施例所绘示的辨识标记的示意图；
图4A～图4H为根据本揭示内容的部分实施例所绘示的分群演算法的示意图；
图5为根据本揭示内容的部分实施例所绘示的标记分群的示意图；
图6为根据本揭示内容的部分实施例所绘示的检测方法的流程图；
图7为根据本揭示内容的部分实施例中影像系统设定权重值的示意图。
【符号说明】
100…影像系统
110…处理单元
120…储存单元
121…影像模块
130…神经网络单元
131…影像辨识程序
210…终端装置
220…终端装置
230…终端装置
Dim…影像数据
Dtest…测试影像
Dt1…辨识标记组
Dt2…辨识标记组
Dt3…辨识标记组
Dt0…预测标记
Dpre…预测数据组
Dcr…正确标记数据组
Dor…原始影像
N…网际网络
S601～S608…步骤
T1…标记框
T2…标记框
P1…标记点
P2…标记点
P3…标记点
G1…分群点
G2…分群点
G3…分群点
G4…分群点
G5…分群点
G6…分群点
G7…分群重心点
L1…第一分群线
L2…第二分群线
L3…第三分群线
Wc…权重值
W1…权重值
W2…权重值
W3…权重值
S…服务器
具体实施方式
以下将以附图揭露本发明的多个实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明部分实施方式中，这些实务上的细节是非必要的。此外，为简化附图起见，一些已知惯用的结构与元件在附图中将以简单示意的方式绘示之。
于本文中，当一元件被称为“连接”或“耦接”时，可指“电性连接”或“电性耦接”。“连接”或“耦接”亦可用以表示二或多个元件间相互搭配操作或互动。此外，虽然本文中使用“第一”、“第二”、…等用语描述不同元件，该用语仅是用以区别以相同技术用语描述的元件或操作。除非上下文清楚指明，否则该用语并非特别指称或暗示次序或顺位，亦非用以限定本发明。
请参阅图1A及图1B所示，是根据本揭示内容的部分实施例所绘示的影像系统100的示意图。影像系统100包含处理单元110、储存单元120及神经网络单元130。在部分实施例中，处理单元110、储存单元120及神经网络单元130是设于同一服务器S中，用以提供影像辨识、标记及模型建立的云端服务。使用者透过终端装置210～230将至少一张影像上传至服务器S，且透过服务器S提供的云端影像辨识程序131，辨识并标记出影像内的各物件。举例而言，服务器S可透过神经网络单元130，辨识一张“都市道路”的照片，辨识出影像照片内的汽车、红绿灯等物件，并分别加以标记及分类(例如：圈选出一辆小客车，并分类到“汽车”中)。在其他部分实施例中，神经网络单元130亦可设于其他计算机主机中，且与处理单元110相连线。
神经网络单元130中包含多组辨识文件，用以与待测的影像进行比对。举例而言，辨识文件中包含“汽车”在各种角度或光线下的影像，或包含多种不同类型的汽车影像，使得神经网络单元130能透过比对，判断出待测影像内是否具有对应于“汽车”分类的物件。在部分实施例中，神经网络单元130为一种卷积神经网络(Convolutional NeuralNetworks)，用以根据多组辨识文件进行深度学习，但神经网络单元130并不以此类型为限。由于本领域人士了解神经网络的基本架构与运作原理，故在此即不赘述。
神经网络单元130虽能分析使用者上传的图像，并辨识、标记各个物件，但仍需要定期进行机器学习，更新数据库，方能确保辨识与标记的准确性。本揭示内容的其中一目的，就是提供一种预测方式，使影像系统S能判断是否需要对神经网络单元130进行校正(adjust)。前述“校正”是指输入新的学习数据至神经网络单元130，学习数据包含图像以及图像内各物件的标记(如：区域座标)，使神经网络单元130更新其内部的数据文件。
请参阅图1A所示，储存单元120用以储存至少一笔影像数据Dim及多个权重值Wc(Weight coefficients)。在本实施例中，储存单元120储存有多笔影像数据Dim。储存单元120可包含但不限于快闪(flash)记忆体、硬盘(HDD)、固态硬盘(SSD)、动态随机存取记忆体(DRAM)或静态随机存取记忆体(SRAM)。权重值Wc分别对应于连线至服务器S的多个终端装置210～230。如图1A所示，在本实施例中，权重值Wc又可细分为权重值W1～W3，且分别对应于终端装置210～230。前述“对应于终端装置”亦指权重值W1～W3分别对应于不同的使用者，且处理单元110可辨识出不同的终端装置210～230。举例而言，终端装置210～230的用户以特定帐号连线至服务器S，使得服务器S能根据帐号辨识出用户，且帐号会对应于权重值Wc。权重值Wc的相关细节及设定方式将于后续段落中说明。
为便于说明本案的运作方式，在此以附图说明“标记”的动作。请参阅图2所示，为影像数据Dim的一种示意图。影像数据Dim包含需要进行辨识与标记的原始影像Dor。在图2中，标记框T1的边缘皆对应于交通号志的边缘，属于正确且理想的标记范围。标记框T2则为略有偏差。判断“标记”匹配程度值(Intersection over Union，简称IoU)的定义为：两张图像的交集面积除以两张图像的联集面积。以图2为例，若以标记框T1为“对照标记”、标记框T2为“辨识标记”，则标记框T2的匹配程度值为“T1、T2的交集面积除以T1、T2的联集面积”。
在部分实施例中，神经网络单元130用以透过深度学习，建立影像辨识程序131(或称辨识模块)，以对使用者上传的影像进行辨识及标记。如前所述，为了让影像辨识程序131不断地透过机器学习，提升其精确性，影像系统100必须判断神经网络单元130是否需要根据新的学习数据，对神经网络单元130进行校正。在本实施例中，处理单元110即用以执行此一判断动作。
处理单元110可包含但不限于单一处理器以及多个微处理器的集成，例如：中央处理器(Central Processing Unit,CPU)或绘图处理器(Graphic ProcessingUnit,GPU)等。如图1B所示，处理单元110电性或通讯连接于储存单元120及神经网络单元130，且透过网际网络N，将储存单元120的影像数据Dim传送给这些终端装置210～230。在部分实施例中，影像数据Dim除了包含图像外，还包含了神经网络单元130对影像数据Dim中的图像进行自动预测后的预测数据组Dpre。
终端装置210～230在接收到影像数据Dim后，终端装置210～230对影像数据Dim进行标记，以产生多个辨识标记数据组(如图1B所示的Dt1、Dt2)。请参阅图3所示，举例而言，每位使用者透过终端装置210连上服务器S后，透过服务器S浏览影像数据Dim。使用者浏览影像数据Dim中的原始影像Dor以及预测数据组Dpre中的多个预测标记Dt0(图3中仅绘示其中之一)。使用者可对原始影像Dor中的预测标记Dt0进行调整(如：调整预测标记Dt0的面积、区域或位置)，确保标记范围正确地对应到物件，以产生辨识标记组Dt1。在图3中，仅绘示出影像数据Dim的一个物件，但实际上，影像数据Dim中会包含大量的物件，因此使用者会透过终端装置210～230标记多个预测标记。意即，辨识标记组Dt1包含一个或多个标记范围。
在部分实施例中，终端装置210～230产生的辨识标记数据组Dt1～Dt3包含一组座标值或一个区域标记，用以对应于影像数据Dim中的某个区域。举例而言，辨识标记数据组包含二对角座标值，用以对应于影像数据Dim中的一个矩形区域。例如：辨识标记数据组Dt1包含两个座标“3，6”及“10，8”，座标“3，6”及“10，8”可视为一个矩形面积的两个对角端点，该矩形面积即为终端装置210标记影像数据Dim的标记结果。
处理单元110用以接收辨识标记数据组Dt1～Dt3，并根据辨识标记数据组Dt1～Dt3判断每一个辨识标记数据组Dt1～Dt3与影像数据Dim的匹配程度值。“匹配程度值”代表辨识标记数据组Dt1～Dt3与预测的物件之间的对应程度(即，标记的正确性)。匹配程度值的计算方式将于后续段落中详细说明。
在计算出匹配程度值后，处理单元110将对应于同一个终端装置210～230的权重值W1～W3及计算出的匹配程度值设定为标记点。举例而言，若终端装置210对应的权重值为“0.6”，且其产生的标记数据组Dt1与影像数据Dim之间的匹配程度值为“85％”，则标记点即为横轴座标为0.6、纵轴座标为“85”的座标点。
承上，在设定多个标记点后，透过分群演算法，将标记点分为多个标记分群。处理单元110根据所有标记分群中最大的一群中的标记点，计算出分群重心点。若分群重心点符合服务器S内预设的调整条件，则处理单元110根据最大的该群标记分群，对神经网络单元130进行校正。
请参阅图4A～图4H所示，为分群演算法的示意图。图4A～图4H中的座标图的纵轴为匹配程度(IoU，介于0～100之间)、横轴则为权重值(W，介于0～1之间)。处理单元110计算出每个终端装置210～230对应的匹配程度值后，将搭配权重值，设定标记点。如图4A所示，每个标记点都对应于终端装置210～230中的其中之一。例如标记点P1对应于终端装置210，且分别对应匹配程度值“50％”、权重值“0.35”，因此标记点P1的座标即为“0.35，50”。同理，标记点P2、P3分别对应于终端装置220～230。
在部分实施例中，分群演算法为K-means分群演算法。在执行分群演算法时，处理单元110将随机挑选任意个初始分群点，初始分群点的数量将取决于最后分群的数量。标记分群的数量可由处理单元110决定。以图4B为例，处理单元110先随机设定两个初始分群点G1、G2。接着，处理单元110计算每个标记点到两个初始分群点G1、G2的距离，且将标记点分类到较近的初始分群点。如图4C所示，标记点P2与初始分群点G1的距离小于标记点P2与初始分群点G2的距离，因此标记点P2被分类对应于初始分群点G1。
如图4D所示，在计算出每个标记点到两个初始分群点G1、G2的距离后，所有的标记点皆分别对应到一个初始分群点，而形成两个分群(如：标记点P4～P6对应于初始分群点G2)。初步分群可由第一分群线L1区隔。接着，处理单元110再分别计算每个分群的重心点，而将原先的初始分群点G1、G2更新为新的分群点G3、G4(如图4E所示)。
在取得分群点G3、G4后，处理单元110再次计算每个标记点到两个分群点G3、G4的距离，使得所有的标记点皆分别对应到分群点G3或分群点G4。如第4F及4G图所示，重新计算每个标记点的分群归属之后，将会形成第二分群线L2，以区隔出新的分群。接着，如图4G所示，再计算每个新的分群的更新点，以将分群点G3、G4更新为分群点G5、G6。以此类推，反复地执行“计算每个标记点对于分群点的距离”、“更新分群”、“将更新后的分群的重心点设定为分群点”。如图4H所示，最后产生的分群点G5、G6即分别代表两个标记分群(两个标记分群分别位于第三分群线L3的两侧)。由于本领域人士能理解K-means分群演算法的数学原理及公式，故在此不再赘述。此外，在部分实施例中，处理单元110亦可使用K-medians演算法或Hierarchical演算法来产生多个标记分群。
如图4H所示，在该实施例中，分群点G5所对应的标记分群具有7个标记点，分群点G6所对应的标记分群具有6个标记点，因此分群点G5所对应的标记分群为“最大的标记分群”，且分群点G5即为“最大的标记分群”的分群重心点。“重心点”是指一个标记分群中，和每个标记点的距离总和最小的位置点。重心点对应于分群权重值(如：横向座标值为0.8)及分群匹配值(如：纵向座标值为85％)。
处理单元110用以根据计算出的分群重心点(如：图4H所示的G5)，判断是否符合调整条件。调整条件可为一个权重门槛值或一个匹配门槛值，或同时包含权重门槛值及匹配门槛值。例如：权重门槛值为“0.6”、匹配门槛值为“70”。以常理而言，影像标记的经验较丰富者，应该会具有较准确的标记能力，对应的匹配程度应该也较高。因此，若最大群的标记分群的重心点对应到的分群权重值过低(即，分群重心点的分群权重值低于权重门槛值)，代表大部分的标记结果都靠近“经验较低者”。此一状况与常理不符，故应对神经网络单元130进行校正。
同理，若最大群的标记分群的重心点对应到的分群匹配值过低(即，分群重心点的分群匹配值低于匹配门槛值)，代表大部分的标记结果的匹配程度都不高，也属于异常，符合调整条件，应对神经网络单元130进行校正。
在部分实施例中，当处理单元110判断分群重心点符合调整条件，而须对神经网络单元130进行校正时，处理单元110将根据最大群的标记分群中的所有标记点，取得对应的辨识标记数据组，并将这些辨识标记数据组设为新的学习数据，使神经网络单元130进行深度学习。
据此，透过将辨识标记数据组对应的匹配程度值及权重值设定为标记点，并计算出最大分群的分群重心点，处理单元110将能判断神经网络单元130的预测结果与终端装置210～230的使用者的辨识结果间是否大致吻合。若处理单元110判断神经网络单元130的预测结果与终端装置210～230的使用者的辨识结果间具有偏差、符合调整条件，即可选择性地将辨识标记数据组作为学习数据，以校正神经网络单元130。
请参阅图5所示，若处理单元110将辨识标记数据组对应的匹配程度值及权重值设定为标记点后，取得的标记分群为“权重值低者对应于较高的匹配程度”，此一趋势将不符合常理(如图5所示，分群重心点G7对应的权重值偏低)。处理单元110能将此一状况认定为符合调整条件(即，分群权重值低于权重门槛值)。另外，在其他实施例中，若处理单元110将辨识标记数据组对应的匹配程度值及权重值设定为标记点后，取得的标记分群为“多数标记点的匹配程度皆过低”(即，多数标记点对应的匹配程度值都过低)，代表神经网络单元130提供的预测数据组Dpre与终端装置210～230上传的辨识标记数据组Dt1～Dt3皆有明显差异，应该校正神经网络单元130。因此，此一情况亦可判断为符合调整条件(即，分群匹配值低于匹配门槛值)。
在此说明“匹配程度值”的计算方式如后。在部分实施例中，神经网络单元130对影像数据Dim进行运算，以取得预测数据组(如图3所示的Dt0)。处理单元110比对各辨识标记数据组Dt1～Dt3与预测数据组间的相似程度，以将比对结果作为匹配程度值。意即，“匹配程度值”的计算式为：“预测数据组与辨识标记组的交集面积”除以“预测数据组与辨识标记组的联集面积”。若以图3为例，计算式即为“Dt0及Dt1的交集面积除以Dt0及Dt1的联集面积”。
在其他实施例中，处理单元110比对辨识标记数据组之间的相似程度，以将比对结果作为匹配程度值。举例而言，处理单元110接收到终端装置210～230传来的辨识标记数据组Dt1～Dt3。在计算终端装置210的辨识标记数据组Dt1对应的匹配程度值时，计算式为：“辨识标记数据组Dt1与另一个辨识标记数据组的交集面积”除以“辨识标记数据组Dt1与另一个辨识标记数据组的联集面积”。根据此一计算式，分别计算标记数据组Dt1相对于辨识其他标记数据组Dt2、Dt3的匹配程度值，最后加以平均，将结果作为“辨识标记数据组Dt1与影像数据Dim的匹配程度值”。举例而言，计算“标记数据组Dt1与影像数据Dim的匹配程度值”时，先分别计算“Dt1及Dt2的交集面积除以Dt1及Dt2的联集面积”、“Dt1及Dt3的交集面积除以Dt1及Dt3的联集面积”，再将两个数值总和后计算平均值。前述平均结果即可视为“标记数据组Dt1与影像数据Dim的匹配程度值”。
请参阅图6所示，在此以影像系统100的执行步骤，说明检测方法如下。在步骤S601中，如图1A所示，处理单元110将影像数据Dim传送给终端装置210～230。影像数据Dim包含神经网络单元130利用影像辨识程序131所自动辨识出的预测数据组Dpre。
在步骤S602中，如图1B所示，处理单元110接收终端装置210～230传来的辨识标记数据组Dt1～Dt3。辨识标记数据组Dt1～Dt3是对应于影像数据Dim(即，对应于影像数据Dim中的部分面积)。
在步骤S603中，处理单元110判断辨识标记数据组Dt1～Dt3与影像数据Dim间的匹配程度值，且将判断出的匹配程度值对应于上传辨识标记数据组Dt1～Dt3的终端装置210～230。在部分实施例中，处理单元110根据每个辨识标记数据组Dt1～Dt3与神经网络单元130自动辨识出的预测数据组Dpre间的相似程度，计算出匹配程度值。在其他部分实施例中，处理单元110比对辨识标记数据组Dt1～Dt3之间的相似程度，以将比对结果作为匹配程度值。
在步骤S604中，处理单元110从储存单元120中取得对应于终端装置210～230的多个权重值W1～W3。在步骤S605中，处理单元110将权重值W1～W3与对应的这些匹配程度值设定为多个标记点，且透过分群演算法，将标记点分为多个标记分群。
在步骤S606中，根据标记分群中的最大者，计算出分群重心点，且分群重心点会对应于分群权重值及分群匹配值。在步骤S607中，处理单元110判断分群权重值或分群匹配值是否符合调整条件(如：分群权重值低于分群门槛值，分群匹配值低于匹配门槛值)？若分群权重值或分群匹配值符合调整条件，在步骤S608中，处理单元110将这些标记分群中的最大者所对应的辨识标记数据组Dt1～Dt3传送给神经网络单元130，使得神经网络单元130据以进行深度学习，并校正其内部的数据库。
若分群权重值或分群匹配值并未符合调整条件，代表还无须校正神经网络单元130。此时，处理单元110能将储存单元120内的其他影像数据Dim传给终端装置210～230，以进行另一次的检测程序。
在此说明“权重值”的设定方式。一般言，经验越丰富的使用者，其标记准确度应该越高，因此，“权重值”与使用者的经验成正比。请参阅图7所示，在部分实施例中，处理单元110会传送至少一张测试影像Dtest至终端装置210～230。终端装置210～230的使用者会针对接收到的测试影像Dtest进行标记，以产生测试标记数据组D01～D03。处理单元110接收终端装置210～230回传的测试标记数据组D01～D03后，将测试标记数据组D01～D03与储存单元120内事先储存的正确标记数据组Dcr进行比对(如：由服务器S管理者事先确认的正确标记，每一个正确标记数据组Dcr会对应于一个测试影像Dtest)，以根据比对结果产生这些权重值。权重值与比对结果的匹配度为正比关系。例如：终端装置210上传的测试标记数据组D01和正确标记数据组Dcr的匹配程度为“90％”，则其权重值W1设定为“0.9”。终端装置220上传的测试标记数据组D02和正确标记数据组Dcr的匹配程度为“60％”，则其权重值W1设定为“0.6”。
在部分实施例中，当处理单元110判断神经网络单元130需要校正，且提供辨识标记数据组至神经网络单元，以完成深度学习后，校正后的神经网络单元130能在服务器S内重新建立(更新)影像辨识程序131。据此，后续当其他远端装置(如：某一个终端装置220)的使用者再次连上服务器S，并上传原始影像(如：某张需要标记的照片)时，校正后的神经网络单元130将可利用影像辨识程序131，对原始影像进行计算，以自动辨识出原始影像内的各个物件，进而于储存单元120中建构影像模块121。
前述各实施例中的各项元件、方法步骤或技术特征，是可相互结合，而不以本揭示内容中的文字描述顺序或附图呈现顺序为限。
虽然本发明内容已以实施方式揭露如上，然其并非用以限定本发明内容，任何熟悉此技艺者，在不脱离本发明内容的精神和范围内，当可作各种更动与润饰，因此本发明内容的保护范围当视所附的权利要求书所界定的范围为准。

Claims (16)

1.一种影像系统的检测方法，其特征在于，该检测方法包含：
透过一影像系统的一处理单元，接收多个终端装置传来的多个辨识标记数据组，其中所述多个辨识标记数据组对应于一储存单元内的一影像数据；
判断所述多个辨识标记数据组与该影像数据间的多个匹配程度值，且所述多个匹配程度值对应于所述多个终端装置；
从该储存单元中取得对应于所述多个终端装置的多个权重值；
将所述多个权重值与对应的所述多个匹配程度值设定为多个标记点，且透过一分群演算法，将所述多个标记点分为多个标记分群；
根据所述多个标记分群中的最大者，计算一分群重心点，该分群重心点对应于一分群权重值及一分群匹配值；以及
在判断该分群权重值或该分群匹配值符合一调整条件的情况下，根据所述多个标记分群中的最大者校正一神经网络单元。
2.根据权利要求1所述的影像系统的检测方法，其特征在于，判断所述多个辨识标记数据组与该影像数据的所述多个匹配程度值的方法包含：
比对所述多个辨识标记数据组之间的相似程度，以将比对结果作为所述多个匹配程度值。
3.根据权利要求1所述的影像系统的检测方法，其特征在于，判断所述多个辨识标记数据组与该影像数据的所述多个匹配程度值的方法包含：
利用该神经网络单元对该影像数据进行运算，以取得一预测数据组；以及
比对所述多个辨识标记数据组与该预测数据组间的相似程度，以将比对结果作为所述多个匹配程度值。
4.根据权利要求1所述的影像系统的检测方法，其特征在于，判断该分群权重值或该分群匹配值符合该调整条件的方法包含：
判断该分群匹配值是否低于一匹配门槛值。
5.根据权利要求4所述的影像系统的检测方法，其特征在于，判断该分群权重值或该分群匹配值符合该调整条件的方法还包含：
判断该分群权重值是否低于一权重门槛值。
6.根据权利要求1所述的影像系统的检测方法，其特征在于，该检测方法还包含：
透过校正后的该神经网络单元，在一服务器建立一影像辨识程序；
接收一远端装置上传至该服务器的一原始影像；
根据校正后的该神经网络单元对该原始影像进行计算，以建构一影像模块。
7.根据权利要求1所述的影像系统的检测方法，其特征在于，所述多个辨识标记数据组中的一者包含至少二对角座标值，该二对角座标值用以对应于该影像数据中的一矩形区域。
8.根据权利要求1所述的影像系统的检测方法，其特征在于，该检测方法还包含：
透过该处理单元，传送一测试影像至所述多个终端装置；
接收所述多个终端装置回传的多个测试标记数据组；以及
将所述多个测试标记数据组与该储存单元内的一正确标记数据组进行比对，以根据比对结果产生所述多个权重值。
9.一种影像系统，其特征在于，该影像系统包含：
一神经网络单元；
一储存单元，用以储存一影像数据及多个权重值，其中所述多个权重值对应于连线至该影像系统的多个终端装置；以及
一处理单元，电性或通讯连接于该储存单元及该神经网络单元，其中该处理单元用以根据所述多个终端装置传来的多个辨识标记数据组，判断所述多个辨识标记数据组与该影像数据间的多个匹配程度值；
其中该处理单元还用以将所述多个权重值与对应的所述多个匹配程度值设定为多个标记点，且透过一分群演算法，将所述多个标记点分为多个标记分群；
其中该处理单元还用以根据所述多个标记分群中的最大者，计算一分群重心点，且在判断该分群重心点符合一调整条件的情况下，根据所述多个标记分群中的最大者校正该神经网络单元。
10.根据权利要求9所述的影像系统，其特征在于，该分群重心点对应于一分群权重值及一分群匹配值；该处理单元在判断该分群权重值或该分群匹配值符合该调整条件的情况下，根据所述多个标记分群中的最大者校正该神经网络单元。
11.根据权利要求10所述的影像系统，其特征在于，该处理单元用以比对所述多个辨识标记数据组之间的相似程度，以将比对结果作为所述多个匹配程度值。
12.根据权利要求10所述的影像系统，其特征在于，该处理单元用以利用该神经网络单元对该影像数据进行运算，以取得一预测数据组；该处理单元还用以比对所述多个辨识标记数据组与该预测数据组间的相似程度，以将比对结果作为所述多个匹配程度值。
13.根据权利要求10所述的影像系统，其特征在于，该处理单元用以判断该分群匹配值是否低于一匹配门槛值。
14.根据权利要求10所述的影像系统，其特征在于，该处理单元用以判断该分群权重值是否低于一权重门槛值。
15.根据权利要求10所述的影像系统，其特征在于，所述多个辨识标记数据组中的一者包含至少二对角座标值，该二对角座标值用以对应于该影像数据中的一矩形区域。
16.根据权利要求10所述的影像系统，其特征在于，该处理单元还用以传送一测试影像至所述多个终端装置，且接收所述多个终端装置回传的多个测试标记数据组；该处理单元还用以将所述多个测试标记数据组与该储存单元内的一正确标记数据组进行比对，以根据比对结果产生所述多个权重值。
CN201911232929.6A 2019-11-28 2019-12-05 影像系统及检测方法 Active CN112861900B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108143482 2019-11-28
TW108143482A TWI738131B (zh) 2019-11-28 2019-11-28 影像系統及檢測方法

Publications (2)

Publication Number Publication Date
CN112861900A CN112861900A (zh) 2021-05-28
CN112861900B true CN112861900B (zh) 2023-08-01

Family

ID=75996053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911232929.6A Active CN112861900B (zh) 2019-11-28 2019-12-05 影像系统及检测方法

Country Status (3)

Country Link
US (1) US11398057B2 (zh)
CN (1) CN112861900B (zh)
TW (1) TWI738131B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5195169A (en) * 1989-03-03 1993-03-16 Sharp Kabushiki Kaisha Control device for controlling learning of a neural network
CN1307535A (zh) * 1999-08-03 2001-08-08 三菱电机株式会社 电梯群管理装置
WO2010055992A2 (ko) * 2008-11-17 2010-05-20 한국항공우주연구원 신경 회로망을 이용한 위성 영상 보정 방법 및 장치
CN107239514A (zh) * 2017-05-19 2017-10-10 邓昌顺 一种基于卷积神经网络的植物识别方法及系统
CN108074268A (zh) * 2016-11-09 2018-05-25 安克生医股份有限公司 细胞学图像处理装置及细胞学影像特征量化方法
TWI650529B (zh) * 2017-08-18 2019-02-11 國家災害防救科技中心 山區洪水偵測方法
CN109842513A (zh) * 2017-11-24 2019-06-04 财团法人资讯工业策进会 网络异常事件分析装置、方法及其电脑存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920745B2 (en) * 2006-03-31 2011-04-05 Fujifilm Corporation Method and apparatus for performing constrained spectral clustering of digital image data
US9031331B2 (en) * 2012-07-30 2015-05-12 Xerox Corporation Metric learning for nearest class mean classifiers
US10762891B2 (en) * 2017-02-10 2020-09-01 Synaptics Incorporated Binary and multi-class classification systems and methods using connectionist temporal classification
US10762427B2 (en) * 2017-03-01 2020-09-01 Synaptics Incorporated Connectionist temporal classification using segmented labeled sequence data
US10423855B2 (en) * 2017-03-09 2019-09-24 Entit Software Llc Color recognition through learned color clusters
US10579897B2 (en) * 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection
US11380422B2 (en) * 2018-03-26 2022-07-05 Uchicago Argonne, Llc Identification and assignment of rotational spectra using artificial neural networks
US10635979B2 (en) * 2018-07-20 2020-04-28 Google Llc Category learning neural networks
US11783917B2 (en) * 2019-03-21 2023-10-10 Illumina, Inc. Artificial intelligence-based base calling
US11010894B1 (en) * 2019-04-02 2021-05-18 NakedPoppy, Inc. Deriving a skin profile from an image

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5195169A (en) * 1989-03-03 1993-03-16 Sharp Kabushiki Kaisha Control device for controlling learning of a neural network
CN1307535A (zh) * 1999-08-03 2001-08-08 三菱电机株式会社 电梯群管理装置
WO2010055992A2 (ko) * 2008-11-17 2010-05-20 한국항공우주연구원 신경 회로망을 이용한 위성 영상 보정 방법 및 장치
CN108074268A (zh) * 2016-11-09 2018-05-25 安克生医股份有限公司 细胞学图像处理装置及细胞学影像特征量化方法
CN107239514A (zh) * 2017-05-19 2017-10-10 邓昌顺 一种基于卷积神经网络的植物识别方法及系统
TWI650529B (zh) * 2017-08-18 2019-02-11 國家災害防救科技中心 山區洪水偵測方法
CN109842513A (zh) * 2017-11-24 2019-06-04 财团法人资讯工业策进会 网络异常事件分析装置、方法及其电脑存储介质

Also Published As

Publication number Publication date
TW202121335A (zh) 2021-06-01
US20210166429A1 (en) 2021-06-03
US11398057B2 (en) 2022-07-26
CN112861900A (zh) 2021-05-28
TWI738131B (zh) 2021-09-01

Similar Documents

Publication Publication Date Title
CN112257774B (zh) 基于联邦学习的目标检测方法、装置、设备及存储介质
JP6831480B2 (ja) テキスト検出分析方法、装置及びデバイス
WO2021208735A1 (zh) 行为检测方法、装置及计算机可读存储介质
CN118609067A (zh) 训练神经网络以用于车辆重新识别
KR102557049B1 (ko) Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치
CN106919957B (zh) 处理数据的方法及装置
EP3843036A1 (en) Sample labeling method and device, and damage category identification method and device
CN114495241B (zh) 一种图像识别方法及装置、电子设备、存储介质
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN113469091B (zh) 人脸识别方法、训练方法、电子设备及存储介质
CN112861900B (zh) 影像系统及检测方法
CN117315224A (zh) 一种改进边界框回归损失的目标检测方法、系统及介质
CN109886780B (zh) 基于眼球跟踪的商品目标检测方法及装置
CN107451719B (zh) 灾区车辆调配方法和灾区车辆调配装置
CN106650814A (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN107844749B (zh) 路面检测方法及装置、电子设备、存储介质
WO2023184197A1 (zh) 目标跟踪方法、装置、系统及存储介质
CN113807315B (zh) 一种构建待识别对象识别模型的方法、装置、设备及介质
CN115479946A (zh) 一种路面破损检测方法、系统、装置及存储介质
US11798265B2 (en) Teaching data correction method for training image, teaching data correction device and program
EP3076370A1 (en) Method and system for selecting optimum values for parameter set for disparity calculation
CN110619354A (zh) 一种无人售货柜图像识别系统及方法
CN112434601A (zh) 基于行车视频的车辆违法检测方法、装置、设备及介质
CN117710944B (zh) 模型缺陷检测方法、模型训练方法、目标检测方法和系统
US20240070516A1 (en) Machine learning context based confidence calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant