CN112450861B - 牙区辨识系统 - Google Patents

牙区辨识系统 Download PDF

Info

Publication number
CN112450861B
CN112450861B CN201910897528.6A CN201910897528A CN112450861B CN 112450861 B CN112450861 B CN 112450861B CN 201910897528 A CN201910897528 A CN 201910897528A CN 112450861 B CN112450861 B CN 112450861B
Authority
CN
China
Prior art keywords
tooth
dental
deep learning
learning model
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910897528.6A
Other languages
English (en)
Other versions
CN112450861A (zh
Inventor
郑楷儒
陈冠中
简佑丞
吴仲昇
李浩平
丁敬原
陈毓训
陈少昂
王佳琪
宋志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanta Computer Inc
Original Assignee
Quanta Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanta Computer Inc filed Critical Quanta Computer Inc
Publication of CN112450861A publication Critical patent/CN112450861A/zh
Application granted granted Critical
Publication of CN112450861B publication Critical patent/CN112450861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A61B1/247—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

一种牙区辨识系统，包含电子装置以及运算装置。电子装置包含第一摄影机。第一摄影机用以拍摄多个牙齿影像。运算装置包含第二摄影机以及处理器。第二摄影机用以拍摄用户影像。处理器用以接收这些牙齿影像，比对这些牙齿影像中每个像素点的对应位置，以产生深度图，将这些牙齿影像、深度图及多个第一牙齿区域标识输入牙齿深度学习模型，牙齿深度学习模型输出与这些第一牙齿区域标识数量相同的多个深度学习机率值，处理器将用户照片及多个第二牙齿区域标识输入用户影像深度学习模型。

Description

牙区辨识系统
技术领域
本发明是关于一种辨识系统，特别是关于一种牙区辨识系统。
背景技术
传统上，牙医需要将齿镜置入患者的口腔内，通过齿镜以观看患者部分口腔，然而，即使智能齿镜搭载镜头，由于镜头的视野线制，也只能拍摄到部分牙齿，且人类左右侧牙齿接近对称，因此一般人难以判断齿镜与实际牙齿位置的相应区域，需要牙医的经验去判断齿镜上的镜头目前放置在患者哪一颗牙齿。
因此，如何自动且精准的辨识出智能齿镜所拍摄到的实际牙齿位置，仍为本领域所需改进的问题之一。
发明内容
为了解决上述的问题，本公开内容的一个态样提供了一种牙区辨识系统，其包含电子装置以及运算装置。电子装置包含第一摄影机。第一摄影机用以拍摄多个牙齿影像。运算装置包含第二摄影机以及处理器。第二摄影机用以拍摄用户影像。处理器用以接收这些牙齿影像，比对这些牙齿影像中每个像素点的对应位置，以产生深度图，将这些牙齿影像、深度图及多个第一牙齿区域标识输入牙齿深度学习模型，牙齿深度学习模型输出与这些第一牙齿区域标识数量相同的多个深度学习机率值，处理器将用户照片及多个第二牙齿区域标识输入用户影像深度学习模型，用户影像深度学习模型输出左区域机率值及右区域机率值，处理器将这些深度学习机率值、左区域机率值与右区域机率值视为多个特征值，将这些特征值及多个第三牙齿区域标识输入多层感知机(Multi-layer PerceptronClassifier)，多层感知机输出这些牙齿影像所对应的牙齿位置机率。
本公开内容的另一个态样提供了牙区辨识系统，其包含电子装置以及运算装置。电子装置包含第一摄影机以及惯性测量单元(Inertial Measurement Unit，IMU)。第一摄影机用以拍摄多个牙齿影像。惯性测量单元用以测量电子装置的姿态信息及运动轨迹。运算装置包含处理器。处理器用以接收这些牙齿影像，比对这些牙齿影像中每个像素点的对应位置，以产生深度图，将这些牙齿影像、深度图及多个第一牙齿区域标识输入牙齿深度学习模型，牙齿深度学习模型输出与这些第一牙齿区域标识数量相同的多个深度学习机率值，处理器将姿态信息、运动轨迹及多个第二牙齿区域标识输入IMU动作深度学习模型，IMU动作深度学习模型输出多个象限机率值，将这些深度学习机率值及这些象限机率值视为多个特征值，处理器将这些特征值及多个第三牙齿区域标识输入多层感知机，多层感知机输出这些牙齿影像所对应的牙齿位置机率。
本发明所示的牙区辨识系统，应用牙齿区域标识及牙齿深度学习模型，以达到自动并准确判断牙齿影像对应实际牙齿位置的效果。
附图说明
图1A是依照本发明的实施例描绘一种牙区辨识系统的示意图。
图1B是根据本发明的实施例描绘一种牙区辨识系统的方块图。
图2是根据本发明的实施例描绘一种牙区辨识方法的流程图。
图3A～3B是根据本发明的实施例描绘一种牙区表示位置的示意图。
图4是根据本发明的实施例描绘一种应用牙齿深度学习模型以取得深度学习机率值的方法的示意图。
图5是根据本发明的实施例描绘一种应用用户影像深度学习模型以取得左区域机率值及右区域机率值的方法的示意图。
图6是根据本发明的实施例描绘一种卷积神经网络模型的示意图。
图7是根据本发明的实施例描绘一种应用IMU动作深度学习模型取得象限机率值的方法的示意图。
图8是根据本发明的实施例描绘一种递归神经网络模型的示意图。
图9是根据本发明的实施例描绘一种应用多层感知机MLP以推算出牙齿影像所对应的牙齿位置机率的示意图。
图10是根据本发明的实施例描绘一种牙区辨识方法的示意图。
图11A～11B是根据本发明的实施例描绘一种应用多层感知机MLP模型的示意图。
具体实施方式
以下说明是为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，使用在本说明书中的”包含”、”包括”等词，是用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
在权利要求中使用如”第一”、"第二"、"第三"等词是用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
请一并参照图1A～1B，图1A是依照本发明的实施例描绘一种牙区辨识系统的示意图。图1B是根据本发明的实施例描绘一种牙区辨识系统100的方块图。在实施例中，电子装置110(例如为数字齿镜或其它可用以拍摄口腔内部的装置，以下以数字齿镜作举例)中包含摄影机112及惯性测量单元(Inertial Measurement Unit，IMU)114。在实施例中，数字齿镜110还包含光源装置116及传输装置118。在实施例中，用户USR将数字齿镜110放入口腔时，光源装置116用以提供光源，摄影机112拍摄用以口腔中部分牙齿，以获取多张牙齿影像。
在实施例中，摄影机112是由至少一个电荷耦合元件(Charge Coupled Device；CCD)或互补式金氧半导体(Complementary Metal-Oxide Semiconductor；CMOS)感测器所组成。
在实施例中，惯性测量单元114是测量物体三轴姿态角(或角速率)以及加速度的装置。惯性测量单元114内可包含三轴的陀螺仪和三个方向的加速度计，来测量物体在三维空间中的角速度和加速度，并依感测到的角速度和加速度算出物体的移动信息。例如，用户USR将数字齿镜110放入口腔时，惯性测量单元114用以测量数字齿镜110的姿态信息及运动轨迹。
在实施例中，光源装置116可以由包含发光二极体的半导体的装置实现。
在实施例中，传输装置118、128之间可以由有线或无线的方式建立通信连结LK，传输装置118、128可以是蓝牙装置、无线网卡或其它具有通信功能的装置。
在实施例中，传输装置118将摄影机112拍摄到的多张牙齿影像通过通信连结LK传送到运算装置120。在实施例中，运算装置120包含处理器122。在实施例中，运算装置120还包含摄影机124。在实施例中，运算装置120还包含显示器126及传输装置128。
在实施例中，运算装置120可以是手机、平板、笔记本电脑、台式机或其它具运算功能的装置。
在实施例中，处理器122可由集成电路如微控制单元(micro controller)、微处理器(microprocessor)、数字信号处理器(digital signal processor)、专用集成电路(application specific integrated circuit，ASIC)或逻辑电路来实施。
在实施例中，显示器126用以显示运算装置120所接收到的来自摄影机112的牙齿影像。
图2是根据本发明的实施例描绘一种牙区辨识方法的流程图200。
在步骤210中，摄影机112用以拍摄多个牙齿影像。
请参阅图3A～3B，图3A～3B是根据本发明的实施例描绘一种牙区表示位置的示意图。图3A～3B是国际牙科联盟(Fé dé ration Dentaire Internationale，FDI)提出的牙位表示法，为世界通用，也称ISO-3950表示法，每颗牙用两位阿拉伯数字表示，第一位表示牙齿所在的象限，将图3A的牙齿位置的右上、左上、左下、右下在恒牙为1、2、3、4，在乳牙为5、6、7、8；第二位表示牙齿的位置：从中门齿到第三臼齿为1～8，其对应表亦可以由图3B所示。一般而言，成人的恒牙约为32颗，例如，摄影机112可能在成人口腔内针对特定的至少一颗牙齿(例如为1～2颗牙齿)进行多次拍摄，以取得多张牙齿影像，依后续步骤辨识这些牙齿影像所对应到图3A～3B中的位置。
在步骤220中，摄影机124拍摄用户影像。
在实施例中，摄影机124为运算装置120的前镜头(自拍镜头)。当数字齿镜110置入用户USR口腔内时，用户USR或其它手持运算装置120的人员，以摄影机124拍摄用户影像。在实施例中，用户USR可以用摄影机124自拍使用数字齿镜110的情境，以取得用户影像。
在步骤230中，处理器122接收牙齿影像，比对这些牙齿影像中每个像素点的对应位置，以产生深度图DP。举例而言，处理器122可通过接收到的多张牙齿影像，利用已知的演算法，如，单视角影像(Monocular)、利用双视角影像(Binocular)产生深度图。
请参阅图4，图4是根据本发明的实施例描绘一种应用牙齿深度学习模型TM以取得深度学习机率值的方法400的示意图。
在步骤240中，处理器122将这些牙齿影像、深度图及多个牙齿区域标识LB1_1～LB1_n输入牙齿深度学习模型TM，牙齿深度学习模型TM输出与这些牙齿区域标识数量相同的多个深度学习机率值A1～A16。
在实施例中，牙齿影像包含原始影像IMG_F、R通道阵列影像IMG_R、G通道阵列影像IMG_G、B通道阵列影像IMG_B及/或深度图DP。在实施例中，牙齿影像可包含多种角度的各组原始影像IMG_F、R通道阵列影像IMG_R、G通道阵列影像IMG_G、B通道阵列影像IMG_B及/或深度图DP。
多个牙齿区域标识LB1_1～LB1_n例如包含所有牙齿的右半部(右上及右下)，即16颗牙齿的细部区域的编号，例如将图3A～3B所示的牙位表示法中的牙齿位置21～28、31～38都标上编号，处理器122将牙齿位置21～28、31～38都各自定义一个牙齿区域标识LB1_1～LB1_n，例如牙齿位置21的位置定义为牙齿区域标识LB1_1、牙齿位置22的位置定义为牙齿区域标识LB1_2…牙齿位置38定义为牙齿区域标识LB1_16(在此例中，n为16)。此处仅为一例子，此处的对应方式可依据牙区辨识系统100实际实作而调整。
在一些实施例中，多个牙齿区域标识LB1_1～LB1_n亦可以是一颗或多颗牙齿的俯视区域、左右侧区域及/或前后侧区域。
处理器122将原始影像IMG_F、R通道阵列影像IMG_R、G通道阵列影像IMG_G、B通道阵列影像IMG_B及/或深度图DP及多个牙齿区域标识LB_1输入牙齿深度学习模型TM，牙齿深度学习模型TM输出与这些牙齿区域标识LB1_1～LB1_n数量相同(例如16个)的多个深度学习机率值A1～A16。换言之，深度学习机率值A1～A16的数量会与牙齿区域标识LB1_1～LB1_n对应，同为16个。
在实施例中，牙齿区域标识LB1_1～LB1_n中的每个编号各自对应到一个深度学习机率值A1～A16，例如牙齿编号21的位置对应到深度学习机率值A1、牙齿编号22的位置对应到深度学习机率值A2、牙齿编号23的位置对应到深度学习机率值A3。此处仅为一例子，此处的对应方式可依据牙区辨识系统100实际实作而调整。
在实施例中，牙齿深度学习模型TM输出的深度学习机率值A1例如为90％、深度学习机率值A2例如为30％、深度学习机率值A3例如为10％，若在所有深度学习机率值A1～A16中，深度学习机率值A1的值最高，代表这些牙齿影像是深度学习机率值A1所对应的牙齿区域标识LB1_1(例如牙齿编号21的位置)的机率最高。
请参阅图5，图5是根据本发明的实施例描绘一种应用用户影像深度学习模型UM以取得左区域机率值RS及右区域机率值LS的方法500的示意图。
在步骤250中，处理器122将用户照片及多个牙齿区域标识LB2_1～LB2_n输入用户影像深度学习模型UM，用户影像深度学习模型输出左区域机率值RS及右区域机率值LS。
在实施例中，牙齿区域标识LB2_1～LB2_n例如为2个区域(在此例中，n为2)，例如所有牙齿的右半部(右上及右下)为牙齿区域标识LB2_1，所有牙齿的左半部(左上及左下)为牙齿区域标识LB2_n。此处仅为一例子，此处的对应方式可依据牙区辨识系统100实际实作而调整。
换言之，图5中用户影像深度学习模型UM输出的机率值(左区域机率值RS及右区域机率值LS)的数量会与牙齿区域标识LB2_1～LB2_n对应，同为2个。
在实施例中，用户照片可以为多张，这些用户照片包含原始照片USR_F、R通道阵列影像USR_R、G通道阵列影像USR_G及/或B通道阵列影像USR_B。在实施例中，用户照片可包含多种角度的各组原始照片USR_F、R通道阵列影像USR_R、G通道阵列影像USR_G及/或B通道阵列影像USR_B。
处理器122将原始照片USR_F、R通道阵列影像USR_R、G通道阵列影像USR_G及/或B通道阵列影像USR_B输入用户影像深度学习模型UM，用户影像深度学习模型UM输出左区域机率值RS及右区域机率值LS。
在实施例中，当左区域机率值RS大于右区域机率值LS时，代表用户USR使用数字齿镜110拍摄所有牙齿的左半区域较高。当左区域机率值RS小于右区域机率值LS时，代表用户USR使用数字齿镜110拍摄所有牙齿的右半区域较高。
在实施例中，牙齿深度学习模型TM及用户影像深度学习模型UM各自以卷积神经网络(Convolutional Neural Network，CNN)模型实现。
请参阅图6，图6是根据本发明的实施例描绘一种卷积神经网络模型的示意图。卷积神经网络是将至少一张原始影像IMG_I(例如原始影像IMG_F、R通道阵列影像IMG_R、G通道阵列影像IMG_G、B通道阵列影像IMG_B、深度图DP、原始照片USR_F、R通道阵列影像USR_R、G通道阵列影像USR_G及/或B通道阵列影像USR_B)进行卷积运算(Convolution)，使用Relu函数去掉负值，更能淬炼出物体的形状，接着进行池化运算(Pooling)，此处的卷积运算、Relu函数运算及池化运算可以是为一组运算，此组运算可以重复复数次，例如在图6中重复两次，以完成特征学习部分，换言之，原始影像IMG_I输入后，会经过两个卷积层(Convolution Layer)然后把它进行平坦运算(Flatten)之后进入全连结层(FullyConnected Layer)最后就是进入Softmax函式转为机率，以分类出结果(例如，深度学习机率值A1～A16或左区域机率值RS及右区域机率值LS)。然而，本领域具通常知识者应能理解，本发明不限于采用CNN模型，只要是可以达到自动分类的其它神经网络模型亦可应用。其中，Softmax函数是有限项离散概率分布的梯度对数归一化，为已知演算法，故此处不赘述。
请参阅图7，图7是根据本发明的实施例描绘一种应用IMU动作深度学习模型IM取得象限机率值UR、UL、LL及LR的方法700的示意图。
在实施例中，惯性测量单元114用以测量数字齿镜110的姿态信息P1及运动轨迹P2。其中，处理器122将姿态信息P1、运动轨迹P2及多个牙齿区域标识LB3_1～LB3_4输入IMU动作深度学习模型IM，IMU动作深度学习模型IM输出多个象限机率值UR、UL、LL及/或LR。多个牙齿区域标识LB3_1～LB3_4例如第3A所示，将所有牙齿位置画分成四个象限(右上为第一象限牙齿标示区域LB3_1、左上为第二象限牙齿标示区域LB3_2、左下为第三象限牙齿标示区域LB3_3、右下为第四象限为牙齿标示区域LB3_4)，IMU动作深度学习模型IM输出第一象限的象限机率值UR、第二象限的象限机率值UL、第三象限的象限机率值LL、第四象限的象限机率值LR。
在实施例中，IMU动作深度学习模型IM输出的象限机率值UR例如为90％、象限机率值UR例如为30％、象限机率值UL例如为10％、象限机率值LL例如为20％，在此例中，在所有象限机率值UR、UL、LL及LR中，象限机率值UR的值最高，代表这些牙齿影像是象限机率值UR所对应的牙齿区域标识LB3_1(例如牙齿编号21～28的位置)的机率最高。
在实施例中，IMU动作深度学习模型IM以递归神经网络(Recurrent NeuralNetwork，RNN)模型实现。
请参阅图8，图8是根据本发明的实施例描绘一种递归神经网络模型的示意图。递归神经网络模型常用于与时间序列相关的分类(如IMU动作分类)，将IMU的时间序列资料输入至递归神经网络模型，并将其分类。图8以简单循环神经网络(Simple RNN)分类为例：符号F代表单一递归神经网络模型；输入的符号x0～xt为时间0～t的IMU资料(如惯性测量单元114测量到的资料)，符号h0～ht为时间0～t的隐藏状态(hidden state)，会成为下一个递归神经网络的输入。换句话说，递归神经网络旨在建立一种记忆，也就是为了不将先前输出的结果遗忘，将其累积成某种隐藏状态(hidden state)，并与当前输入结合，一起产出结果，再进一步传递下去。也因此，递归神经网络适合接收序列(sequence)作为输入并输出序列，提供了序列生成一个简洁的模型。最后的隐藏状态ht进入Softmax函式转为机率，以分类出结果(例如为象限机率值UR、UL、LL及LR)。在实施例中，递归神经网络在训练阶段输入多组已分类好的IMU资料，以更新递归神经网络模型内的参数，并储存最佳参数当作最佳的递归神经网络模型。
递归神经网络模型相当多种，实际应用上可能使用简单循环神经网络、长短期记忆网络(Long Short Term Memory Network，LSTM)…等递归神经网络架构。
请参阅图9，图9是根据本发明的实施例描绘一种应用多层感知机MLP以推算出牙齿影像所对应的牙齿位置机率POS1～POS32的示意图。
在步骤260中，处理器122将这些深度学习机率值A1～A16、左区域机率值RS与右区域机率值LS视为多个特征值，将这些特征值及多个牙齿区域标识LB4_1～LB4_n输入多层感知机(Multi-layer Perceptron Classifier)MLP，多层感知机MLP输出牙齿影像所对应的牙齿位置机率POS1～POS32。
在实施例中，多个牙齿区域标识LB4_1～LB4_n例如是依据32颗牙齿的位置分成32个区域(在此例中，n为32)。处理器122将这些深度学习机率值A1～A16(16个特征值)、左区域机率值RS与右区域机率值LS(2个特征值)视为多个特征值(共18个特征值)，将这些特征值及牙齿区域标识LB4_1～LB4_n(在此例中，n为32)输入多层感知机MLP，多层感知机MLP输出32个牙齿位置机率POS1～POS32。需注意的是，在此例中，输入为18个特征值(前述象限机率值UR、UL、LL及LR尚未作为特征值输入，因此只输入18个特征值)，特征值的数量可依牙区辨识系统100实作时调整。一般而言，输入特征值的数量越多，输入多层感知机MLP输出的牙齿位置机率POS1～POS32判断结果越准确。
在实施例中，如图9所示，处理器122将这些深度学习机率值A1～A16、左区域机率值RS、右区域机率值LS、象限机率值UR、UL、LL及LR视为这些特征值(共22个特征值)，将这些特征值及这些牙齿区域标识LB4_1～LB4_n(在此例中，n为32)输入多层感知机，多层感知机输出这些牙齿影像所对应的此牙齿位置机率POS1～POS32。
请一并参阅图10、11A～11B，图10是根据本发明的实施例描绘一种牙区辨识方法的示意图。图11A～11B是根据本发明的实施例描绘一种应用多层感知机MLP模型的示意图。在图10中，符号f1～fm即为输入的特征值(Input features)，符号Bias代表偏权值，符号R1～Rm可视为一个神经元集合，代表进入多层感知机MLP后的输入特征，其构成输入层(Inputlayer)，在一些实施例中，隐藏层(Hidden layer)可以有多层，每个神经元在隐藏层会根据前一层的输出的结果，作为当前此层的输入，最后输出结果OT1～OTn，这些结果构成输出层(Output layer)，输出层即为所需分类的类别，例如，输出层输出结果OT1、OT3、OTn分别为：拍摄到左下位置38的机率(例如左下位置38对应的牙齿位置机率POS10为90％)、拍摄到左下位置37的机率(例如左下位置37对应的牙齿位置机率POS11为90％)...及拍摄到右下位置46的机率(例如右下位置46对应的牙齿位置机率POS21为10％)，若机率为90％为输出层中数值最高，则处理器122判断这些输入影像对应的牙齿位置为牙位表示法中的左下位置38及左下位置37。然而，本领域具通常知识者应可理解，上述仅为一示例，输出层输出的方式不限于此，亦可通过其他输出参数的方式呈现运算结果。
在实施例中，训练阶段输入多组已分类好的特征资料，以更新多层感知机MLP内的参数，并储存最佳参数当作最佳的模型。
在实施例中，多层感知机MLP的实作可应用软件Scikit-learn，软件Scikit-learn是一个用于Python编程语言的免费软件机器学习库。例如，多层感知机MLP在实作上可应用软件Scikit-learn的sklearn.neural_network.MLPClassifier函式库。
在实施例中，数字齿镜110的摄影机112用以拍摄一个或多个牙齿影像，惯性测量单元114，用以测量数字齿镜110的姿态信息P1及运动轨迹P2。运算装置120的处理器122用以接收这些牙齿影像，比对这些牙齿影像中每个像素点的对应位置，以产生深度图DP，将这些牙齿影像、深度图DP及多个牙齿区域标识LB1_1～LB1_n输入牙齿深度学习模型TM，牙齿深度学习模型TM输出与这些牙齿区域标识LB1_1～LB1_n数量相同的多个深度学习机率值A1～A16，处理器122将姿态信息P1、运动轨迹P2及多个牙齿区域标识LB3_1～LB3_4输入IMU动作深度学习模型IM，IMU动作深度学习模型IM输出多个象限机率值UR、UL、LL及/或LR，将这些深度学习机率值A1～A16及这些象限机率值UR、UL、LL及/或LR视为多个特征值，处理器122将这些特征值及多个牙齿区域标识LB4_1～LB4_n输入多层感知机，多层感知机MLP输出这些牙齿影像所对应的牙齿位置机率。
在实施例中，在图11A～11B中，数字齿镜110的摄影机112依序拍摄到原始影像IMG_F、原始影像IMG_F’，数字齿镜110的惯性测量单元114在拍摄到原始影像IMG_F的当下取得移动信息IMU_D，在拍摄到原始影像IMG_F’的当下取得移动信息IMU_D’，处理器122接收这些信息并将原始影像IMG_F、原始影像IMG_F’、移动信息IMU_D及移动信息IMU_D’输入深度地图产生器DMG，以产生深度图DP。其中，深度地图产生器DMG可以由现有技术实现，例如应用单视角影像、双视角影像…等方式，以硬体电路或软件实作深度地图产生器DMG，故此处不赘述。
由图11A～11B可知，方法400可选择性地搭配方法700及/或方法500以产生多个特征值。
例如，处理器122执行方法400(图11A)会产生多个深度学习机率值(例如A1～A16)，处理器122执行方法700(图11B)会产生象限机率值UR、UL、LL及LR，则处理器122执行方法400搭配方法700会产生20个特征值，处理器将此20个特征值代入多层感知机MLP以推算出牙齿影像所对应的牙齿位置机率，例如，输出层输出：拍摄到左下位置38的机率(例如左下位置38对应的牙齿位置机率POS10为80％)、拍摄到左下位置37的机率(例如左下位置37对应的牙齿位置机率POS11为80％)...及拍摄到右下位置46的机率(例如右下位置46对应的牙齿位置机率POS21为30％)，若机率为80％为输出层中数值最高，则处理器122判断这些输入影像对应的牙齿位置为牙位表示法中的左下位置38及左下位置37。
例如，处理器122执行方法400(图11A)会产生多个深度学习机率值(例如A1～A16)，处理器122执行方法500(图11B)会产生左区域机率值RS及右区域机率值LS，则处理器122执行方法400搭配方法500会产生18个特征值，处理器将此18个特征值代入多层感知机MLP以推算出牙齿影像所对应的牙齿位置机率，例如，输出层输出：拍摄到左下位置38的机率(例如左下位置38对应的牙齿位置机率POS10为70％)、拍摄到左下位置37的机率(例如左下位置37对应的牙齿位置机率POS11为70％)...及拍摄到右下位置46的机率(例如右下位置46对应的牙齿位置机率POS21为40％)，若机率为70％为输出层中数值最高，则处理器122判断这些输入影像对应的牙齿位置为牙位表示法中的左下位置38及左下位置37。
例如，处理器122执行方法400(图11A)会产生多个深度学习机率值(例如A1～A16)，处理器122执行方法700(图11B)会产生象限机率值UR、UL、LL及LR，并且执行方法500(图11B)产生左区域机率值RS及右区域机率值LS，则处理器122执行方法400搭配方法500及方法700会产生22个特征值，处理器将此22个特征值代入多层感知机MLP以推算出牙齿影像所对应的牙齿位置机率，例如，输出层输出：拍摄到左下位置38的机率(例如左下位置38对应的牙齿位置机率POS10为95％)、拍摄到左下位置37的机率(例如左下位置37对应的牙齿位置机率POS11为95％)...及拍摄到右下位置46的机率(例如右下位置46对应的牙齿位置机率POS21为10％)，若机率为95％为输出层中数值最高，则处理器122判断这些输入影像对应的牙齿位置为牙位表示法中的左下位置38及左下位置37。
本发明所示的牙区辨识系统，应用牙齿区域标识及牙齿深度学习模型，以达到自动并准确判断牙齿影像对应实际牙齿位置的效果。
[符号说明]
100：牙区辨识系统
110：电子装置
LK：通信连结
120：运算装置
USR：用户
112、124：摄影机
114：惯性测量单元
116：光源装置
118、128：传输装置
122：处理器
126：显示器
200：牙区辨识方法的流程图
210～260：步骤
11～18、21～28、31～38、42～48：牙齿位置
400：应用牙齿深度学习模型以取得深度学习机率值的方法
DP：深度图
IMG_F、USR_F：原始影像
IMG_R：R通道阵列影像
IMG_G、USR_R：G通道阵列影像
IMG_B、USR_B：B通道阵列影像
LB1_1～LB1_n、LB2_1～LB2_n、LB3_1～LB3_4、LB4_1～LB4_n：牙齿区域标识
TM：牙齿深度学习模型
500：应用用户影像深度学习模型以取得左区域机率值及右区域机率值的方法
UM：用户影像深度学习模型
LS：右区域机率值
RS：左区域机率值
700：应用IMU动作深度学习模型取得象限机率值的方法
P1：姿态信息
P2：运动轨迹
IM：IMU动作深度学习模型
UR、UL、LL、LR：象限机率值
x0～xt：时间0～t的IMU资料
h0～ht：时间0～t的隐藏状态
F：单一递归神经网络模型
A1～A16：深度学习机率值
MLP：多层感知机
POS1～POS32：牙齿位置机率
f1～fm：输入的特征值
R1～Rm：神经元集合
Bias：偏权值
OT1～OTn：输出结果
IMG_F、IMG_F’：原始影像
IMU_D、IMU_D’：移动信息
DMG：深度地图产生器

Claims (10)

1.一种牙区辨识系统，包含：
电子装置，包含：
第一摄影机，用以拍摄特定牙齿的多个牙齿影像；以及
运算装置，包含：
第二摄影机，用以拍摄用户影像；以及
处理器，用以接收所述多个牙齿影像，比对所述多个牙齿影像中每个像素点的对应位置，以产生深度图，将所述多个牙齿影像、所述深度图及多个第一牙齿区域标识输入牙齿深度学习模型，所述牙齿深度学习模型输出与所述多个第一牙齿区域标识数量相同的多个深度学习机率值，所述处理器将所述用户照片及多个第二牙齿区域标识输入用户影像深度学习模型，所述用户影像深度学习模型输出左区域机率值及右区域机率值，所述处理器将所述多个深度学习机率值、所述左区域机率值与所述右区域机率值视为多个特征值，将所述多个特征值及多个第三牙齿区域标识输入多层感知机(Multi-layer PerceptronClassifier)，所述多层感知机输出所述多个牙齿影像所对应的牙齿位置机率。
2.根据权利要求1所述的牙区辨识系统，其中所述电子装置还包含：
惯性测量单元(Inertial Measurement Unit，IMU)，用以测量所述电子装置的姿态信息及运动轨迹；
其中，所述处理器将所述姿态信息、所述运动轨迹及多个第四牙齿区域标识输入IMU动作深度学习模型，所述IMU动作深度学习模型输出多个象限机率值。
3.根据权利要求2所述的牙区辨识系统，其中所述处理器将所述多个深度学习机率值、所述左区域机率值、所述右区域机率值、所述多个象限机率值视为所述多个特征值，将所述多个特征值及所述多个第三牙齿区域标识输入所述多层感知机，所述多层感知机输出所述多个牙齿影像所对应的所述牙齿位置机率。
4.根据权利要求1所述的牙区辨识系统，其中所述多个牙齿影像包含R通道阵列影像、G通道阵列影像及B通道阵列影像。
5.根据权利要求2所述的牙区辨识系统，其中所述牙齿深度学习模型及所述用户影像深度学习模型各自以卷积神经网络(Convolutional Neural Network，CNN)模型实现，所述IMU动作深度学习模型以递归神经网络(Recurrent Neural Network，RNN)模型实现。
6.一种牙区辨识系统，包含：
电子装置，包含：
第一摄影机，用以拍摄特定牙齿的多个牙齿影像；以及
惯性测量单元(Inertial Measurement Unit，IMU)，用以测量所述电子装置的姿态信息及运动轨迹；以及
运算装置，包含：
处理器，用以接收所述多个牙齿影像，比对所述多个牙齿影像中每个像素点的对应位置，以产生深度图，将所述多个牙齿影像、所述深度图及多个第一牙齿区域标识输入牙齿深度学习模型，所述牙齿深度学习模型输出与所述多个第一牙齿区域标识数量相同的多个深度学习机率值，所述处理器将所述姿态信息、所述运动轨迹及多个第二牙齿区域标识输入IMU动作深度学习模型，所述IMU动作深度学习模型输出多个象限机率值，将所述多个深度学习机率值及所述多个象限机率值视为多个特征值，所述处理器将所述多个特征值及多个第三牙齿区域标识输入多层感知机，所述多层感知机输出所述多个牙齿影像所对应的牙齿位置机率。
7.根据权利要求6所述的牙区辨识系统，其中所述运算装置还包含：
第二摄影机，用以拍摄用户影像；
其中，所述处理器将所述用户照片及多个第四牙齿区域标识输入用户影像深度学习模型，所述用户影像深度学习模型输出左区域机率值及右区域机率值。
8.根据权利要求7所述的牙区辨识系统，其中所述处理器将所述多个深度学习机率值、所述左区域机率值与所述右区域机率值视为多个特征值，将所述多个特征值及多个第三牙齿区域标识输入所述多层感知机，所述多层感知机输出所述多个牙齿影像所对应的所述牙齿位置机率。
9.根据权利要求8所述的牙区辨识系统，其中所述多个牙齿影像包含R通道阵列影像、G通道阵列影像及B通道阵列影像。
10.根据权利要求7所述的牙区辨识系统，其中所述牙齿深度学习模型及所述用户影像深度学习模型各自以卷积神经网络(Convolutional Neural Network，CNN)模型实现，所述IMU动作深度学习模型以递归神经网络(Recurrent Neural Network，RNN)模型实现。
CN201910897528.6A 2019-09-06 2019-09-23 牙区辨识系统 Active CN112450861B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108132140A TWI721553B (zh) 2019-09-06 2019-09-06 牙區辨識系統
TW108132140 2019-09-06

Publications (2)

Publication Number Publication Date
CN112450861A CN112450861A (zh) 2021-03-09
CN112450861B true CN112450861B (zh) 2022-06-17

Family

ID=69005465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910897528.6A Active CN112450861B (zh) 2019-09-06 2019-09-23 牙区辨识系统

Country Status (4)

Country Link
US (1) US11037317B2 (zh)
EP (1) EP3789957A1 (zh)
CN (1) CN112450861B (zh)
TW (1) TWI721553B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11357598B2 (en) * 2019-04-03 2022-06-14 Align Technology, Inc. Dental arch analysis and tooth numbering
TWI782538B (zh) * 2021-05-24 2022-11-01 廣達電腦股份有限公司 口腔掃描裝置和方法
TWI806500B (zh) * 2022-03-18 2023-06-21 廣達電腦股份有限公司 影像分類裝置和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572831A (zh) * 2014-05-07 2017-04-19 阿莱恩技术有限公司 口内扫描期间关注区域的识别
CN106875386A (zh) * 2017-02-13 2017-06-20 苏州江奥光电科技有限公司 一种利用深度学习自动进行牙齿健康状况检测的方法
CN108389207A (zh) * 2018-04-28 2018-08-10 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置
WO2019094504A1 (en) * 2017-11-07 2019-05-16 Align Technology, Inc. Deep learning for tooth detection and evaluation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8255948B1 (en) * 2008-04-23 2012-08-28 Google Inc. Demographic classifiers from media content
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US10537463B2 (en) * 2015-01-13 2020-01-21 Align Technology, Inc. Systems and methods for positioning a patient's mandible in response to sleep apnea status
SG11201805373TA (en) * 2016-02-01 2018-07-30 Marco Martin Dental imager and method for recording photographic impressions
US10916053B1 (en) * 2019-11-26 2021-02-09 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572831A (zh) * 2014-05-07 2017-04-19 阿莱恩技术有限公司 口内扫描期间关注区域的识别
CN106875386A (zh) * 2017-02-13 2017-06-20 苏州江奥光电科技有限公司 一种利用深度学习自动进行牙齿健康状况检测的方法
WO2019094504A1 (en) * 2017-11-07 2019-05-16 Align Technology, Inc. Deep learning for tooth detection and evaluation
CN108389207A (zh) * 2018-04-28 2018-08-10 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置

Also Published As

Publication number Publication date
US20210074011A1 (en) 2021-03-11
CN112450861A (zh) 2021-03-09
TWI721553B (zh) 2021-03-11
TW202112120A (zh) 2021-03-16
EP3789957A1 (en) 2021-03-10
US11037317B2 (en) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112450861B (zh) 牙区辨识系统
US10685259B2 (en) Method for analyzing an image of a dental arch
US11314983B2 (en) Method for analyzing an image of a dental arch
US20210358124A1 (en) Method for analyzing an image of a dental arch
EP1952354B1 (en) Determining camera motion
TWI447658B (zh) 人臉影像擷取方法與裝置
US11049248B2 (en) Method for analyzing an image of a dental arch
US10755409B2 (en) Method for analyzing an image of a dental arch
WO2018189795A1 (ja) 認識装置、認識方法および認識プログラム
CN106945035A (zh) 机器人控制设备及其控制方法和机器人系统
US11127181B2 (en) Avatar facial expression generating system and method of avatar facial expression generation
US11977615B2 (en) Method for facial authentication of a wearer of a watch
JP2005349176A (ja) 顎運動解析方法及び顎運動解析システム
JP2022074153A (ja) 被験者の顎運動を測定するためのシステム、プログラム、および方法
CN115862124B (zh) 视线估计方法、装置、可读存储介质及电子设备
TW202133117A (zh) 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法
KR102039164B1 (ko) 다중 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN116108391A (zh) 一种基于无监督学习的人体姿态分类识别系统
US20220215547A1 (en) Method for analyzing an image of a dental arch
JP2020065173A (ja) 画像処理装置、学習装置、画像処理方法、学習方法およびプログラム
TWI629662B (zh) Method for realizing acupoint visualization by AR technology
JP7419993B2 (ja) 信頼度推定プログラム、信頼度推定方法、および信頼度推定装置
JP2004341992A (ja) 画像撮影装置及び画像照合装置
JP2020124367A5 (zh)
US20230397877A1 (en) Swallowing capture and remote analysis systems including motion capture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant