CN113767278A - 特征点识别系统及识别方法 - Google Patents
特征点识别系统及识别方法 Download PDFInfo
- Publication number
- CN113767278A CN113767278A CN202080029769.XA CN202080029769A CN113767278A CN 113767278 A CN113767278 A CN 113767278A CN 202080029769 A CN202080029769 A CN 202080029769A CN 113767278 A CN113767278 A CN 113767278A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- feature point
- data
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- A—HUMAN NECESSITIES
- A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
- A22B—SLAUGHTERING
- A22B5/00—Accessories for use during or after slaughtering
- A22B5/0064—Accessories for use during or after slaughtering for classifying or grading carcasses; for measuring back fat
- A22B5/007—Non-invasive scanning of carcasses, e.g. using image recognition, tomography, X-rays, ultrasound
-
- A—HUMAN NECESSITIES
- A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
- A22C—PROCESSING MEAT, POULTRY, OR FISH
- A22C17/00—Other devices for processing meat or bones
- A22C17/004—Devices for deboning meat
-
- A—HUMAN NECESSITIES
- A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
- A22C—PROCESSING MEAT, POULTRY, OR FISH
- A22C21/00—Processing poultry
- A22C21/0069—Deboning poultry or parts of poultry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
- A22C—PROCESSING MEAT, POULTRY, OR FISH
- A22C17/00—Other devices for processing meat or bones
- A22C17/0073—Other devices for processing meat or bones using visual recognition, X-rays, ultrasounds, or other contactless means to determine quality or size of portioned meat
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Food Science & Technology (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Processing Of Meat And Fish (AREA)
Abstract
根据特征点识别系统(1),对第一算法运算部(12)通过非掩模处理求出的第一组的特征点的数据与第三算法运算部(16)经由第二算法运算部(14)的掩模处理检测到的第二组的特征点的数据进行比较,判断数据是否存在异常,由此能够比以往更正确且稳定地识别被摄体P的特征点。
Description
技术领域
本发明涉及例如在识别食用肉中的骨部等情况下能够使用的、利用了深度学习的特征点识别系统以及识别方法。
本申请要求于2019年4月26日在日本提交的申请号为2019-86815的日本专利申请的优先权,该日本专利申请的内容引用至本文。
背景技术
例如,在将食用肉作为被摄体进行拍摄来检测食用肉中的骨部的特征点并利用食用肉处理机器人自动地对骨部进行脱骨等情况下,需要得到被摄体中的特征点的正确的位置信息。
在专利文献1中公开了如下的一种系统:从X射线照射装置朝向被摄体照射X射线,对透过了被摄体的X射线透过图像进行图像处理,得到骨部等的特征点的位置坐标。
现有技术文献
专利文献
专利文献1:国际公开第2012/056793号(日本专利第5384740号)
发明内容
发明要解决的问题
在专利文献1的系统中,首先用固定坐标指定预想为图像中的特征点存在的区域,针对该区域内的图像,利用基于阈值处理的二值化、边缘提取等图像处理方法,提取想要捕捉的边界部分,根据其形状求出特征点。
但是,例如在如所述的食用肉、人体这样在形状、尺寸、胖瘦程度等方面存在个体差异的被摄体的情况下,存在有如下的情况:特征点检测所需要的形状部分从所述固定坐标范围脱离;阈值处理的亮度值超出预料;由于内部结构的不均匀而检测出不必要的形状从而无法锁定所需要的特征点。
另外,由于受到图像的噪声、照明光的变化引起的干扰;被摄体的表面状态不一样而对图像造成影响;拍摄时的被摄体的姿势、形状的变化使图像受到各种影响,所以与将形状、尺寸为一定的人造物作为被摄体的情况相比较,基于图像处理的特征点的正确的识别是困难的。在应用于食用肉处理系统等情况下,如果特征点的识别位置存在误差,则会发生刀陷入骨头、产生食用肉的浪费等问题。
如上所述,在以往的技术中,在从被摄体的图像稳定且正确地得到特征点的位置信息这点存在改善的余地。
用于解决问题的手段
【1】本发明的一个方式是一种特征点识别系统,其根据从被摄体取得的图像识别所述被摄体的特征点,所述特征点识别系统具备:
图像取得部,取得所述被摄体的图像;
第一算法运算部,根据对所述被摄体的特征点进行深度学习得到的推理运算,对由所述图像取得部取得的图像进行运算处理,检测第一组的特征点;
第二算法运算部,根据对所述被摄体的特征区域进行深度学习得到的推理运算,对由所述图像取得部取得的图像进行运算处理,检测特征区域;
第三算法运算部,利用通过所述第二算法运算部得到的所述特征区域,检测第二组的特征点;以及
运算部,使用所述第一算法运算部检测到的所述第一组的特征点的数据以及所述第三算法运算部检测到的所述第二组的特征点的数据中的至少一方,输出所述被摄体的特征点。
根据该特征点识别系统,选择性地使用所述第一算法运算部检测到的所述第一组的特征点的数据、以及在所述第二算法运算部检测到特征区域之后所述第三算法运算部利用所述特征区域检测到的所述第二组的特征点的数据中的至少一方,输出所述被摄体的特征点,由此能够从被摄体的图像稳定且更正确地得到特征点的位置信息。
【2】在【1】所述的特征点识别系统中,所述特征点识别系统还具备:第二图像取得部,取得所述被摄体的第二图像;以及第二图像运算部,从由所述第二图像取得部取得的所述第二图像检测第三组的特征点,所述运算部使用所述第一算法运算部检测到的所述第一组的特征点的数据、所述第三算法运算部检测到的所述第二组的特征点的数据、以及所述第二图像运算部检测到的所述第三组的特征点的数据的中的至少两种数据,检查所述被摄体的特征点的检测结果的正常或异常。
在该情况下,所述运算部使用所述第一算法运算部检测到的所述第一组的特征点的数据、所述第三算法运算部检测到的所述第二组的特征点的数据、以及所述第二图像运算部检测到的所述第三组的特征点的数据中的至少两种数据,检查所述被摄体的特征点的检测结果的正常或异常,由此能够从被摄体的图像更稳定地且以更高精度得到特征点的位置信息。
【3】在【1】或【2】所述的特征点识别系统中,所述特征点识别系统具备第四算法运算部,所述第四算法运算部根据对正常的特征区域进行深度学习得到的推理运算,对通过第二算法运算部得到所述特征区域的数据进行计算,判断通过所述第二算法运算部得到的所述特征区域的正常性。
在该情况下,所述第四算法运算部根据对正常的特征区域进行深度学习得到的推理运算,对通过所述第二算法运算部得到的所述特征区域的数据进行计算,判断通过所述第二算法运算部得到的所述特征区域的正常性,由此能够从被摄体的图像更稳定地且以更高精度得到特征点的位置信息。
【4】在【1】至【3】所述的特征点识别系统中,所述运算部对所述第一算法运算部检测到的所述第一组的特征点的数据、所述第三算法运算部检测到的所述第二组的特征点的数据、以及所述第二图像运算部检测到的所述第三组的特征点的数据中的至少两种数据进行相互比较,选择并输出用于比较的两种特征点中的被判断为精度更高的一方作为所述被摄体的特征点。在该情况下,通过所述比较,能够从被摄体的图像更稳定地且以更高精度得到特征点的位置信息。
所述图像取得部可以取得X射线图像、3D图像、CT扫描图像、伽马射线图像、紫外线图像、可见光图像、红外线图像、RGB图像以及超声波探伤图像中的至少一种。
【5】本发明的其它方式是一种特征点识别方法,其根据从被摄体取得的图像识别所述被摄体的特征点,所述特征点识别方法包括:
图像取得工序,取得所述被摄体的图像;
第一算法运算工序,根据对所述被摄体的特征点进行深度学习得到的推理运算,对在所述图像取得工序中取得的图像进行运算处理,检测第一组的特征点;
第二算法运算工序,根据对所述被摄体的特征区域进行深度学习得到的推理运算,对由所述图像取得部取得的图像进行运算处理,检测特征区域;
第三算法运算工序,利用通过所述第二算法运算部得到的所述特征区域,检测第二组的特征点;以及
运算工序,使用在所述第一算法运算工序中检测到的所述第一组的特征点的数据以及在所述第三算法运算工序中检测到的所述第二组的特征点的数据中的至少一方,输出所述被摄体的特征点。
根据该特征点识别方法,选择性地使用在所述第一算法运算工序中检测到的所述第一组的特征点的数据、以及在所述第二算法运算工序中检测到特征区域之后在所述第三算法运算工序中利用所述特征区域检测到的所述第二组的特征点的数据中的至少一方,输出所述被摄体的特征点,由此能够从被摄体的图像稳定且更正确地得到特征点的位置信息。
在【5】所述的方法中,可以设置与【2】至【4】所述的系统的动作中的各工序相同的工序。在该情况下,能够得到与【2】至【4】所述的系统相同的效果。
发明效果
根据本发明的特征点识别系统以及识别方法,选择性地使用从图像取得部取得的被摄体的图像直接检测到的第一组的特征点的数据、以及在从所述图像检测到特征区域之后利用该特征区域数据检测到的第二组的特征点的数据中的至少一方,由此能够从被摄体的图像稳定且更正确地得到特征点的位置信息。
附图说明
图1是示出本发明的一个实施方式的特征点识别系统的侧视图。
图2是示出同一实施方式的图像处理装置的框图。
图3是示出同一实施方式的动作的流程图。
图4是对同一实施方式的第一算法运算部的动作进行说明的图。
图5是对同一实施方式的第一算法运算部的动作进行说明的图。
图6是对同一实施方式的第一算法运算部的训练数据进行说明的图。
图7是对同一实施方式的第二算法运算部的动作进行说明的图。
图8是对同一实施方式的第二算法运算部的动作进行说明的图。
图9是对同一实施方式的第三算法运算部的动作进行说明的图。
图10是对同一实施方式的第三算法运算部的动作进行说明的图。
图11是对同一实施方式的第三算法运算部的动作进行说明的图。
图12是对同一实施方式的第三算法运算部的动作进行说明的图。
图13是对同一实施方式的针对3D数据的第二算法运算部以及第三算法运算部的动作进行说明的图。
图14是对同一实施方式的运算部的动作进行说明的图。
具体实施方式
以下,举出实施方式对本发明详细地进行说明,但是本发明的技术的范围不受这些实施方式的构成限定,应根据权利要求的记载进行最宽地解释。可以从下述的实施方式省略一部分构成、添加已知的其它的构成。
图1是示出本发明的一个实施方式的特征点识别系统的主视图。该特征点识别系统1处理作为被摄体P食用肉,本发明的实施方式的特征点识别系统具备:输送机2,运送被摄体P;X射线图像取得部4,取得放置在输送机2上的被摄体P的透过X射线图像;X射线发生装置(省略图示),产生X射线,用于X射线图像取得部4;3D图像取得部6(第二图像取得部),取得被摄体P的表面的3D图像;图像处理装置8,对来自X射线图像取得部4以及3D图像取得部6的输出信号进行处理;以及掩模构件10,用于遮蔽来自X射线发生装置的X射线。X射线图像取得部4的拍摄时序与3D图像取得部6的拍摄时序可以同时,也可以不同时。另外,被摄体P在X射线图像取得部4以及3D图像取得部6进行拍摄时的位置可以相同,也可以不同。
在该实施方式的特征点识别系统1中,被摄体P是猪、牛、羊以及鸡等家畜屠宰体的一部分,取得沿着被摄体P内部的骨部B外周的多个特征点的位置信息。在未图示的后处理中,使用特征点识别系统1识别出的特征点的坐标,例如通过使机械臂操作的刀动作,能够进行切断骨部B与肉部的边界并从被摄体P的肉部取出骨部B等处理。
但是,本发明不限于针对食用肉的应用,也可以用于寻求作为被摄体P的包括人体的各种生物的生物体、植物或人造物中的某种结构的特异点的目的,特征点的利用目的没有限定,也可以用于脱骨作业以外的任何目的。不一定使用输送被摄体P的输送机2,可以在拍摄时用某种手段将被摄体P固定,或边使被摄体P移动边取得图像。
另外,在该实施方式中,使用X射线图像取得部4以及3D图像取得部6作为图像取得部以及第二图像取得部,但是本发明的图像取得部不限于这些,也可以使用取得CT扫描图像、伽马射线图像、超声波探伤图像、紫外线图像、可见光图像、红外线图像、或RGB图像等的图像取得部,作为使用两种的图像的替代,也可以使用从被摄体P的不同的方向取得同一种图像得到的两个图像,也可以仅使用一个图像来识别特征点。即,也可以是不使用第二图像取得部的构成。
X射线图像取得部4利用X射线检测器检测从X射线发生装置的X射线管放射并透过了被摄体P的X射线,取得被摄体P的二维X射线图像。X射线图像取得部4取得的X射线图像的数据存储到设置在X射线图像取得部4的内部或外部的存储介质中,向图像处理装置8传达并进行处理。图4中的图像22是由X射线图像取得部4取得的X射线图像的一个示例。
3D图像取得部6用于掌握放置在输送机2上的被摄体P的立体形状。3D图像取得部6的种类没有限定,例如可以通过对被摄体P的表面扫描并照射线状的光线并且用相机测量来自被摄体P的表面的反射光,由此取得反映了被摄体P的立体形状的3D图像。3D图像取得部6取得的3D图像的数据存储在设置在3D图像取得部6的内部或外部的存储介质中,向图像处理装置8传达并进行处理。图13是3D图像取得部6取得的3D图像的一个示例。
图2是示出图像处理装置8的构成的框图。图像处理装置8主要由第一算法运算部12、第二算法运算部14、第三算法运算部16、第四算法运算部18以及运算部20构成。
图像处理装置8通过包括电路部(circuitry)的计算机等硬件执行软件程序实现。所述硬件例如是CPU(中央处理器)、LSI(大规模集成电路)、ASIC(专用集成电路)、FPGA(现场可编程门阵列)、GPU(图形处理单元)等。上述程序存储在具备存储介质的存储装置中。所述存储介质例如是HDD(硬盘驱动器)、闪存器、ROM(只读存储器)、DVD(数字通用光盘)等。此外,上述程序可以是实现图像处理装置8具有的功能的一部分的差分程序。
第一算法运算部12基于来自X射线图像取得部4的X射线图像数据,按照对在被摄体P内应检测的特征点进行深度学习得到的推理运算,进行运算处理,检测第一组的特征点。在该实施方式中,这些特征点与用于求后处理中的刀的移动轨迹的位置对应。
图4示意性地示出第一算法运算部12的运算处理,通过输入X射线图像取得部4取得的X射线图像22的二维像素数据,按照对预先应求出的特征点进行深度学习得到的推理运算,进行运算处理,输出各特征点A、B、C、…、C6、C7、C8的标准化后的(X,Y)坐标24。
可以如下面所示地进行第一算法运算部12的深度学习。如图5所示,准备多个通过X射线图像取得部4预先拍摄到的X射线图像26,基于熟练者的判断,在这些X射线图像26内描绘特征点。由此,如图6所示,只要采用下述方式即可:得到X射线图像28以及在其上出现的特征点的坐标组30,将X射线图像28以及特征点的坐标组30作为训练数据32进行深度学习,在第一算法运算部12内构建第一算法。
第二算法运算部14基于来自X射线图像取得部4的X射线图像数据,根据对被摄体P内的特征区域进行深度学习得到的推理运算进行运算处理,检测特征区域。在该实施方式中,这些特征区域与位于被摄体P的内部的多个骨的位置对应。在该实施方式中,第二算法运算部14也用于针对3D图像的掩模图像检测(S17),在该情况下与第二图像运算部对应。
图7示意性地示出第二算法运算部14的运算处理,通过输入X射线图像取得部4取得的X射线图像34的二维像素数据,按照对预先应求出的特征区域进行深度学习得到的推理运算进行运算处理,输出对各特征区域的(X,Y)坐标范围以外进行掩模得到的图像数据36。
图8是示出第二算法运算部14应该求出的多个特征区域(背景、小腿骨、大腿骨、膝盖骨、髋骨、尾骨、踝骨、耻骨)的一个示例的掩模图像。可以如下面所示地进行第二算法运算部14的深度学习。准备多个通过X射线图像取得部4预先拍摄的X射线图像,基于熟练者的判断,在这些X射线图像内描绘与图8所示的各骨对应的特征范围。由此,由于能够得到X射线图像以及在该X射线图像中出现的特征区域的坐标范围组,所以只要将这些数据组作为训练数据进行深度学习,在第二算法运算部14内构建第二算法即可。当在针对3D图像的掩模图像检测(S17)中使用第二算法运算部14的情况下,只要针对3D图像同样地进行深度学习即可。
第三算法运算部16基于通过第二算法运算部14得到的特征区域的数据,按照对在被摄体P内应检测的特征点进行深度学习得到的推理运算进行运算处理,检测第二组的特征点。第三算法运算部16应检测的特征点分别是与第一算法运算部12应检测的特征点相同的点,但与第一算法运算部12从X射线图像直接求出特征点不同的是,第三算法运算部16根据第二算法运算部14求出的特征区域间接地检测特征点。在该实施方式中,第三算法运算部16也用于从由3D图像得到的特征区域检测特征点的特征点检测(S18),在该情况下,与第二图像运算部对应。此外,第三算法运算部16也可以基于通过第二算法运算部14得到的特征区域的数据,使用图像处理方法来检测被摄体P内的第二组特征点。
图9示意性地示出第三算法运算部16的运算处理,通过输入第二算法运算部14求出的特殊区域的掩模图像38的二维像素数据,按照预先对特征点进行深度学习得到的推理运算进行运算处理,输出各特征点A、B、C、…、C6、C7、C8的标准化后的(X,Y)坐标40。
可以如下面所示地进行第三算法运算部16的深度学习。准备多个第二算法运算部14求出的特殊区域的掩模图像38,基于熟练者的判断,在这些掩模图像38内描绘特征点。由此,得到掩模图像38以及在该掩模图像38中出现的特征点的坐标组,只要对多个这些数据组进行深度学习,在第三算法运算部16内构建第三算法即可。在将第三算法运算部16用于针对3D图像的特征点检测(S18)的情况下,只要针对3D图像同样地进行深度学习即可。
图10示出了第二算法运算部14的特征区域的检测为异常的掩模图像42、以及特征点的检测因第三算法运算部16从该掩模图像42进行检测而成为异常的X射线图像44。
第四算法运算部18根据对正常的特征区域进行深度学习得到的推理运算,对通过第二算法运算部14得到的特征区域的数据进行计算,判断通过第二算法运算部14得到的特征区域的正常性。由此,例如,根据对正常的特征区域进行深度学习得到的推理运算,对图10所示的异常的掩模图像42进行计算,能够判断为是异常。此外,在第四算法运算部18中,也可以对通过统计的方法预先得到的特征区域的可能的范围与通过第二算法运算部14得到的特征区域的数据进行比较,来判断通过第二算法运算部14得到的特征区域的正常性。
可以如下面所示地进行第四算法运算部18的深度学习。只要采用下述方式即可:准备多个第二算法运算部14求出的特殊区域的掩模图像,基于熟练者的判断,对正常的掩模图像38(图9)与异常的掩模图像42进行判断,将掩模图像与正常/异常的评价作为数据组,对多个这些数据组进行深度学习,在第四算法运算部18内构建第四算法。
运算部20使用第一算法运算部12检测到的第一组的特征点的数据以及第三算法运算部16检测到的第二组的特征点的数据的至少一方,输出被摄体P的最终的特征点。结合下述的流程图详细说明运算部20的动作。
图3是示出本实施方式的特征点识别系统1的动作的流程图,按工序顺序对特征点识别系统1的动作进行说明。
在步骤S1中,X射线图像取得部4取得被摄体P的X射线图像(第一图像)。由此,例如拍摄图4中的X射线图像22。
在步骤S2中,通过图像处理装置8中的第一算法运算部12根据对被摄体P的特征点预先进行深度学习得到的推理运算(第一算法),对X射线图像取得部4取得的X射线图像的数据进行运算处理,第一算法运算部12检测第一组的特征点。由此,例如,求出图4所示的各特征点A、B、C、…、C6、C7、C8的标准化后的(X,Y)坐标24。
在步骤S3中,通过第二算法运算部14根据对被摄体P的特征区域进行深度学习得到的推理运算(第二算法),对X射线图像取得部4取得的X射线图像的数据进行运算处理,第二算法运算部14检测特征区域。在特征区域的检测中,通过预先进行的深度学习,进行仅提取被摄体P内的骨的区域的掩模处理。由此,例如求出图7中的掩模图像36。
在步骤S4中,第二算法运算部14检测到的特征区域的数据传送至第三算法运算部16,第三算法运算部16使用第三算法并使用特征区域的数据,检测第二组的特征点。由此,能够得到例如图9所示那样的第二组的特征点40。
在步骤S5中,第二算法运算部14检测到的特征区域的数据也传送至第四算法运算部18,第四算法运算部18根据对正常的特征区域进行深度学习得到的推理运算,对通过第二算法运算部14得到的特征区域的数据进行计算,判断特征区域的正常性,将其结果作为形状分数输出。由此,例如,对于图10所示的异常的掩模图像42,从第四算法运算部18输出低形状分数,判断为是异常。
在步骤S6中,运算部20接收来自第三算法运算部16的第二组的特征点的数据以及来自第四算法运算部18的形状分数,对两者进行对照,判断第三算法运算部16检测到的第二组的特征点的数据是否正常。如果是正常的,则前进至步骤S7,如果判断为异常,则前进至步骤S8。
在步骤S7中,运算部20对在步骤S2中得到的来自第一算法运算部12的第一组的特征点的坐标数据与、在步骤S6中判断为正常的来自第三算法运算部16的第二组的特征点的坐标数据进行比较。第一组的特征点的数据是未进行掩模处理而直接检测特征点的非掩模处理的特征点的坐标数据。例如,图14是示出以同一特征点对来自第一算法运算部12的第一组的特征点的坐标数据52与来自第三算法运算部16的第二组的特征点的坐标数据54彼此进行比较且在差分大的情况下错误检测的可能性高的示意图。
在步骤S7中,例如,取得通过掩模处理得到的来自第三算法运算部16的第二组的各特征点的坐标数据与通过非掩模处理得到的来自第一算法运算部12的第一组的各特征点的坐标数据的差分,如果是该差分超过了预先确定的一定的阈值的特征点,则判断为该特征点的坐标是异常的。
在步骤S8中,对第二组的各特征点的坐标数据与、在后述的步骤S18中从3D图像(第二图像)得到的第三组的各特征点的坐标数据进行比较。通过该比较,如果从X射线图像得到的第二组的特征点的数据与从3D图像得到的第三组的特征点的数据的差分为一定的阈值以下,则判断为该特征点的异常在X射线图像与3D图像中共同存在,发出无视该特征点的比较信息的命令。另一方面,如果比阈值大,则设置异常标志并前进至步骤S19。
在步骤S9中,在通过步骤S7中的比较判断为特征点是正常的情况下,前进至步骤S10,在根据第一组以及第二组的特征点的数据的比较判断为异常的情况或从步骤S8输入了比较无效信息的情况下,判断为异常并前进至步骤S11。
在步骤S10中,对判断为正常的第二组的特征点的数据与从在后述的步骤S18中得到的3D图像得到的第三组的特征点的数据进行比较。如果从X射线图像得到的第二组的特征点的数据与从3D图像得到的第三组的特征点的数据的差分为一定阈值以下,则判断为正常,如果比阈值大,则判断为异常。
在步骤S11中,当在步骤S9中判断为检测到的特征点不是正常的情况下,对第二组的特征点的坐标数据与在后述的步骤S18中从3D图像得到的第三组的特征点的坐标数据进行比较。通过该比较,如果从X射线图像得到的第二组的特征点的坐标数据与从3D图像得到的第三组的特征点的坐标数据的差分为一定阈值以下,则判断为该特征点的异常在X射线图像与3D图像中共同存在,发出无视该特征点的比较信息的命令,如果比阈值大,则设置异常标志并前进至步骤S19。
在步骤S12中,在通过步骤S10中的比较判断为特征点是正常的情况下,前进至步骤S14,在从第一组以及第二组的特征点的数据的比较判断为异常的情况或从步骤S11输出了比较无效信息的情况下,判断为异常并前进至步骤S13前进。
在步骤S13中,判断从X射线图像得到的第二组的特征点的坐标数据与从3D图像得到的第三组的特征点的坐标数据的差分是否小,如果差分比一定的阈值小,则判断为能够使用两者共同的特征点的数据。在判断为能够使用的情况下,前进至步骤S14,在判断为不能使用两者共同的特征点的数据的情况下,前进至步骤S19。
在步骤S14中,将从X射线图像得到的第二组的特征点的数据与从3D图像得到的第三组的特征点的数据合成,最终确定应发送的坐标。作为合成方法的一个示例,可以计算两者的中间点的坐标,并将该中间点的坐标作为最终的特征点的数据的坐标。作为其它示例,可以将在步骤13中从X射线图像得到的第一组以及第二组的特征点的数据以及从3D图像得到的第三组的特征点的数据的合计三种坐标的平均作为最终的特征点的数据。这样,通过将正常的2组或3组的特征点数据组平均来求出最终坐标,能够进一步提高最终求出的特征点的坐标的精度。
在步骤S15中,从图像处理装置8输出在步骤S14中合成的特征点的数据,完成流程图的一个循环。
另一方面,在步骤16中,通过3D图像取得部6拍摄被摄体P,3D图像取得部6取得3D图像(第二图像)的数据。步骤16可以与步骤S1同时进行,也可以以与步骤S1不同的时序进行。
在步骤17中,通过第二算法运算部14(第二图像运算部的一部分)根据对被摄体P的特征区域进行深度学习得到的推理运算(第二算法),对3D图像取得部6取得的3D图像的数据进行运算处理,第二算法运算部14检测特征区域。在特征区域的检测中,通过预先进行的深度学习,进行仅提取被摄体P内的骨的区域的掩模处理。深度学习的方法只要与之前描述的与X射线图像有关的特征点的深度学习同样地进行即可。
在步骤18中,将第二算法运算部14检测到的特征区域的数据传送至第三算法运算部16(第二图像运算部的一部分),第三算法运算部16利用第三算法使用特征区域的数据来检测第三组的特征点。将检测到的第三组的特征点的数据向步骤S8以及步骤S10发送。
在步骤19中,当在步骤S8、S11、S14中设置了异常标志的情况下,返回步骤S1再次基于已拍摄的X射线图像以及3D图像,从步骤S1开始重新进行。另外,使初始值为T=0的重试次数成为T=1。在反复进行了步骤S1~S19的情况下,将重试次数T每次加1,在变成了T=n(n为预先决定的正的整数且为2以上)的情况下,初始化为T=0,并且停止针对本次的被摄体P的特征点识别作业,向操作员发出警报,将针对该被摄体P的特征点识别设为失败,委托给人工进行的操作,或从特征点识别系统1排出被摄体P。操作员从特征点识别系统1去除被摄体P,或由人工进行之后的工序。
根据以上的特征点识别系统1,通过基于所述流程图的动作,对第一算法运算部12通过非掩模处理求出的第一组的特征点的数据与经由第二算法运算部14的掩模处理且第三算法运算部16检测到的第二组的特征点的数据进行比较,如果为一定的阈值以上,则判断为异常,由此能够比以往更正确且稳定地识别被摄体P的特征点。
由此,例如,如图11所示,即使在通过第二算法运算部14得到的掩模图像46乍一看好像正常的情况下,将基于该掩模图像46得到的第二组的特征点(图12)的各坐标数据与从第一算法运算部12得到的特征点的各坐标数据进行比较,由此能够检测如图12所示的特征点F、G、H那样地显示异常的特征点,如果再次从步骤S1开始重新进行得到正确的数据、重新进行规定次数也无法得到正常的数据,则能够进行停止针对该被摄体P的处理等应对方式。
此外,在该实施方式中,通过3D图像取得部6取得如图13所示的3D图像作为第二图像,也与从该3D图像得到的第三组的特征点的坐标数据进行比较,因此能够得到更高的精度。也可以将第一图像作为3D图像,将第二图像作为X射线图像,与前述的其它种类的图像交换使用。
另外,所述实施方式的与3D图像相关的步骤也可以省略。
另外,作为通过统计的方法预先得到的统计的特征点的数据,可以针对多个样本只统计性地求出特征点彼此的距离的最小值到最大值的范围,判断这些统计的特征点的数据、以及从第三算法运算部16得到的第二组的特征点的各坐标数据和/或从第一算法运算部12得到的特征点的各坐标数据的正常或异常。
工业实用性
根据本发明的特征点识别系统及识别方法,通过使用通过两种方法得到的第一组以及第二组的特征点,能够从被摄体的图像稳定且更正确地得到特征点的位置信息。
附图标记说明
1 特征点识别系统
2 输送机
4 X射线图像取得部(第一图像取得部)
6 3D图像取得部(第二图像取得部)
8 图像处理装置
10 掩模构件
12 第一算法运算部
14 第二算法运算部
16 第三算法运算部
18 第四算法运算部
20 运算部
22 X射线图像(第一图像的示例)
24 第一组的特征点数据
32 训练数据
36 掩模图像
50 3D图像(第二图像的示例)
Claims (5)
1.一种特征点识别系统,根据从被摄体取得的图像识别所述被摄体的特征点,其特征在于,所述特征点识别系统具备:
图像取得部,取得所述被摄体的图像;
第一算法运算部,根据对所述被摄体的特征点进行深度学习得到的推理运算,对由所述图像取得部取得的图像进行运算处理,检测第一组的特征点;
第二算法运算部,根据对所述被摄体的特征区域进行深度学习得到的推理运算,对由所述图像取得部取得的图像进行运算处理,检测特征区域;
第三算法运算部,使用通过所述第二算法运算部得到的所述特征区域,检测第二组的特征点;以及
运算部,使用所述第一算法运算部检测到的所述第一组的特征点的数据以及所述第三算法运算部检测到的所述第二组的特征点的数据中的至少一方,输出所述被摄体的特征点。
2.根据权利要求1所述的特征点识别系统,其特征在于,所述特征点识别系统还具备:
第二图像取得部,取得所述被摄体的第二图像;以及
第二图像运算部,从由所述第二图像取得部取得的所述第二图像,检测第三组的特征点,
所述运算部使用所述第一算法运算部检测到的所述第一组的特征点的数据、所述第三算法运算部检测到的所述第二组的特征点的数据、以及所述第二图像运算部检测到的所述第三组的特征点的数据中的至少两种数据,检查所述被摄体的特征点的检测结果的正常或异常。
3.根据权利要求1或2所述的特征点识别系统,其特征在于,所述特征点识别系统具备第四算法运算部,所述第四算法运算部根据对正常的特征区域进行深度学习得到的推理运算,对通过所述第二算法运算部得到的所述特征区域的数据进行计算,判断通过所述第二算法运算部得到的所述特征区域的正常性。
4.根据权利要求2所述的特征点识别系统,其特征在于,
所述运算部对所述第一算法运算部检测到的所述第一组的特征点的数据、所述第三算法运算部检测到的所述第二组的特征点的数据、以及所述第二图像运算部检测到的所述第三组的特征点的数据中的至少两种进行相互比较,选择并输出用于比较的两种特征点中的被判断为精度更高的一方作为所述被摄体的特征点。
5.一种特征点识别方法,根据从被摄体取得的图像识别所述被摄体的特征点,其特征在于,所述特征点识别方法包括:
图像取得工序,取得所述被摄体的图像;
第一算法运算工序,根据对所述被摄体的特征点进行深度学习得到的推理运算,对在所述图像取得工序中取得的图像进行运算处理,检测第一组的特征点;
第二算法运算工序,根据对所述被摄体的特征区域进行深度学习得到的推理运算,对通过所述图像取得工序取得的图像进行运算处理,检测特征区域;
第三算法运算工序,使用在所述第二算法运算工序中得到的所述特征区域,检测第二组的特征点;以及
运算工序,使用在所述第一算法运算工序中检测到的所述第一组的特征点的数据以及在所述第三算法运算工序中检测到的所述第二组的特特殊征点的数据中的至少一方,输出所述被摄体的特征点。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019086815A JP2020183876A (ja) | 2019-04-26 | 2019-04-26 | 特徴点認識システムおよびワーク処理システム |
JP2019-086815 | 2019-04-26 | ||
PCT/JP2020/017697 WO2020218513A1 (ja) | 2019-04-26 | 2020-04-24 | 特徴点の認識システムおよび認識方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113767278A true CN113767278A (zh) | 2021-12-07 |
Family
ID=72942826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080029769.XA Pending CN113767278A (zh) | 2019-04-26 | 2020-04-24 | 特征点识别系统及识别方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220165051A1 (zh) |
EP (1) | EP3933388A4 (zh) |
JP (1) | JP2020183876A (zh) |
CN (1) | CN113767278A (zh) |
BR (1) | BR112021017669A2 (zh) |
CA (1) | CA3130044C (zh) |
WO (1) | WO2020218513A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240037319A (ko) * | 2021-07-26 | 2024-03-21 | 에프피아이 푸드 프로세싱 이노베이션 게엠베하 앤드 코.카게 | 가금류 다리에 존재하는 뼈 부분을 찾는 방법, 장치 및 배치 |
JP2024068382A (ja) * | 2022-11-08 | 2024-05-20 | 株式会社前川製作所 | 切断位置特定システム、及び、切断位置特定方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06324006A (ja) * | 1993-04-30 | 1994-11-25 | Snow Brand Milk Prod Co Ltd | 肉組織の検査、加工方法およびその装置 |
EP0920620B1 (en) * | 1996-08-23 | 2004-10-13 | Her Majesty The Queen in Right of Canada, as represented by The Department of Agriculture and Agri-Food Canada | Method and apparatus for using image analysis to determine meat and carcass characteristics |
EP2532246B1 (en) * | 2010-10-27 | 2015-07-15 | Mayekawa Mfg. Co., Ltd. | Deboning method and deboning apparatus of bony chops with x-rays |
JP5788108B2 (ja) * | 2012-10-23 | 2015-09-30 | 株式会社前川製作所 | 豚屠体腕部位の左右判別システム |
CN107851312B (zh) * | 2015-07-29 | 2022-04-12 | 珀金埃尔默健康科学公司 | 用于在三维解剖图像中自动分割个别骨骼骨的系统及方法 |
US10654185B2 (en) * | 2016-07-29 | 2020-05-19 | John Bean Technologies Corporation | Cutting/portioning using combined X-ray and optical scanning |
WO2018038123A1 (ja) * | 2016-08-22 | 2018-03-01 | キユーピー株式会社 | 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 |
US10395362B2 (en) * | 2017-04-07 | 2019-08-27 | Kla-Tencor Corp. | Contour based defect detection |
JP2018195967A (ja) * | 2017-05-17 | 2018-12-06 | 国立研究開発法人産業技術総合研究所 | 撮影システム、画像合成装置、画像合成方法及び画像合成プログラム |
JP7047294B2 (ja) * | 2017-09-19 | 2022-04-05 | カシオ計算機株式会社 | 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム |
JP2019086815A (ja) | 2017-11-01 | 2019-06-06 | 東京電力ホールディングス株式会社 | 発想支援装置及びプログラム |
JP6890789B2 (ja) * | 2018-02-05 | 2021-06-18 | 株式会社シー・テック | 魚選別装置、魚選別方法、魚種類推定装置、及び、魚種類推定方法 |
JP7161948B2 (ja) * | 2018-09-07 | 2022-10-27 | 株式会社フジクラ | 機械学習装置、機械学習方法、機械学習プログラム、及び検査装置 |
JP2020103284A (ja) * | 2018-12-25 | 2020-07-09 | 株式会社大道産業 | 肉の骨の判別装置等の判別装置及び肉の骨判別方法等の判別方法、ならびに肉の骨判別プログラム等の判別プログラム |
-
2019
- 2019-04-26 JP JP2019086815A patent/JP2020183876A/ja active Pending
-
2020
- 2020-04-24 CN CN202080029769.XA patent/CN113767278A/zh active Pending
- 2020-04-24 EP EP20795193.0A patent/EP3933388A4/en active Pending
- 2020-04-24 CA CA3130044A patent/CA3130044C/en active Active
- 2020-04-24 US US17/430,246 patent/US20220165051A1/en active Pending
- 2020-04-24 WO PCT/JP2020/017697 patent/WO2020218513A1/ja unknown
- 2020-04-24 BR BR112021017669A patent/BR112021017669A2/pt unknown
Also Published As
Publication number | Publication date |
---|---|
CA3130044C (en) | 2023-06-27 |
US20220165051A1 (en) | 2022-05-26 |
BR112021017669A2 (pt) | 2021-11-16 |
EP3933388A4 (en) | 2023-06-14 |
CA3130044A1 (en) | 2020-10-29 |
WO2020218513A1 (ja) | 2020-10-29 |
EP3933388A1 (en) | 2022-01-05 |
JP2020183876A (ja) | 2020-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3110045B2 (ja) | 医用コンピュータ断層撮影スキャンで病変を検出するための自動化された方法およびシステム | |
CN107480677B (zh) | 一种识别三维ct图像中感兴趣区域的方法及装置 | |
KR101883258B1 (ko) | 해부학적 계측점의 검출 방법 | |
EP2948062B1 (en) | Method for identifying a specific part of a spine in an image | |
US7599539B2 (en) | Anatomic orientation in medical images | |
CN109923554B (zh) | 图像处理 | |
CN107596578B (zh) | 对准标记的识别和位置确定方法、成像设备及存储介质 | |
Zamora et al. | Hierarchical segmentation of vertebrae from x-ray images | |
CN113506294B (zh) | 一种医疗图像评估方法、系统、计算机设备及存储介质 | |
CN113767278A (zh) | 特征点识别系统及识别方法 | |
CN111932495B (zh) | 一种医学图像检测方法、装置及存储介质 | |
CN111563873A (zh) | 损伤检查装置及方法 | |
CN111951215A (zh) | 一种图像检测方法、装置及计算机可读存储介质 | |
US20190392552A1 (en) | Spine image registration method | |
CN114266718A (zh) | 医用图像处理装置及方法、学习模型的学习方法 | |
KR102255592B1 (ko) | 마진 라인의 정밀도 향상을 위한 치과용 ct 영상 처리 방법 | |
Pathare et al. | Detection of fractures in long bones for trauma centre patients using hough transform | |
CN110555850B (zh) | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 | |
CN112770675A (zh) | 减少异物的x射线成像系统 | |
Ebrahimi et al. | Lumbar spine posterior corner detection in X-rays using Haar-based features | |
CN113793316B (zh) | 一种超声扫查区域提取方法、装置、设备和存储介质 | |
CN113240681B (zh) | 图像处理的方法及装置 | |
JP2021174213A (ja) | 特徴点の認識システムおよび認識方法 | |
Rashmi et al. | Extended template matching method for region of interest extraction in cephalometric landmarks annotation | |
Xu et al. | Accurate and efficient separation of left and right lungs from 3D CT scans: a generic hysteresis approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |