CN108648146A - 基于局部优化算法的牙齿舌腭侧全景图像拼接方法 - Google Patents
基于局部优化算法的牙齿舌腭侧全景图像拼接方法 Download PDFInfo
- Publication number
- CN108648146A CN108648146A CN201810428939.6A CN201810428939A CN108648146A CN 108648146 A CN108648146 A CN 108648146A CN 201810428939 A CN201810428939 A CN 201810428939A CN 108648146 A CN108648146 A CN 108648146A
- Authority
- CN
- China
- Prior art keywords
- image
- tooth tongue
- palate
- tooth
- palate side
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003254 palate Anatomy 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005457 optimization Methods 0.000 title claims abstract description 9
- 238000012216 screening Methods 0.000 claims abstract 2
- 230000009466 transformation Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 210000002105 tongue Anatomy 0.000 description 30
- 210000003128 head Anatomy 0.000 description 3
- 210000000214 mouth Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于局部优化算法的牙齿舌腭侧全景图像拼接方法，首先通过架设在轨道上的摄像机对牙齿舌(腭)侧进行扫描式拍摄并获取牙齿舌(腭)侧的扫描视频。对扫描视频进行帧间筛选，剔除重复或冗余信息较多的图像。将筛选过的图像根据拍摄轨道本身的曲率进行柱面投影。将投影后的图片输入拼接算法，提取所有图像特征点并进行两两之间的优化计算，从而获得拼接所需参数。最后依据获得参数，对图像序列进行顺序拼接，进而得到牙齿舌(腭)侧的拼接图像。本发明的有益效果是方法简单，易于操作，稳定性高。
Description
技术领域
本发明属于图像处理和口腔医学技术领域，涉及一种基于牙齿舌 (腭)侧的全景图的生成方法。
背景技术
传统的牙齿检查需要用户前往诊所。牙科医生需要用口腔内窥镜观察每一刻牙齿。另一种方式为，在护士的协助下完成对患者口腔全景图的拍摄。这种拍摄方法成本高(时间成本和费用成本)，效率较低，患者体验不好。对于牙齿的拍摄通常也分为咬合面，唇(颊)面和舌(腭)面三个部分。舌(腭)侧在人们日常刷牙时难以刷到，也是烟斑或牙结石存在的区域。因此，对舌(腭)侧全景图像的拍摄对于牙科医生具有重要的实用价值。
发明内容
本发明的目的在于提供基于局部优化算法的牙齿舌腭侧全景图像拼接方法，本发明的有益效果是方法简单，易于操作，稳定性高。牙齿舌(腭)侧是烟斑和牙结石存在区域。采用这个方法获取的全景图有良好色彩和形态的保真度，利于牙医的口腔检查。
本发明所采用的技术方案是按照以下步骤进行：
1.牙齿舌(腭)侧的全景图像是由微距摄像头进行采集。摄像头固定在预设于牙齿舌(腭)侧的附近的轨道上，拍摄时摄像头沿轨道滑动。在拍摄过程中，摄像头光轴与牙齿舌(腭)侧所在曲面的法线方向所成角度保持近似稳定。
2.所获取的牙齿舌(腭)侧视频按照其帧率保存为离散图片。在平面直角坐标系和平面极坐标系中对离散图片进行筛选。筛选原则是，设立关联性阈值，删除关联度高于所设阈值的图像。
3.根据拍摄视频和模型形状对于牙齿舌(腭)侧所形成柱面的半径进行估计。
4.根据第3点中，估计得到的半径对每一张图片进行柱面投影。
5.利用自适应sift算法，计算相邻两张舌(腭)侧投影图像的特征点坐标，及其对应描述子。并根据这些信息进行特征点匹配。匹配过程中，利用特征点坐标信息剔除靠的过近的匹配特征点对。
6.在两张舌(腭)侧投影图像之间，根据其特征点的匹配情况，利用局部(两张图间)光束平差法进行图像变换参数的计算(透视变换参数)。
7.将得到得到两张舌(腭)侧投影图像按照计算得到的参数拼接为一张图像。
8.以得到的这张局部舌(腭)侧局部全景图为基础，重复步骤5 －7，依次将后续图像拼接到局部图上，直到所有图像都完成拼接。最后形成牙齿舌(腭)侧的全景图。
进一步，阈值选取通过以下过程实现:a.给定一组连续拍摄舌侧图像，任意选择某一图片作为基准图片，计算相邻图像与它的关联值大小；b.从按照关联值的大小，由高到低将对应的图像与基准图像两两拼接，直到拼接图像发生明显畸变或错误为止，这时对应的关联值标记为待选阈值；c.重复以上过程若干次，得到若干个待选阈值，选择最大值作为算法的阈值。
附图说明
图1是本发明方法流程示意图。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明如图1所示，第一步：舌(腭)侧的全景图像是通过微距摄像头采集。摄像头固定在预设于舌(腭)侧附近的轨道上，拍摄时摄像头沿轨道滑动。在滑动过程中，应保证摄像头稳定，不出现剧烈的视场变化。稳定拍摄是指：摄像头光轴与牙齿舌(腭)侧所在平面所成角度近似不变。如出现不稳定抖动(例如：因为患者牙齿形态畸形而造成的不稳定抖动)，其抖动数据应被惯性传感器捕获，并反馈至算法中。
第二步：所获取的牙齿舌(腭)侧视频按照其帧率保存为离散图片。在平面直角坐标系和平面极坐标系中，对离散图片进行筛选。具体做法是：事先设定好在这两个坐标系下设定阈值。利用相位关联算法计算这两张图在平面直角坐标系和平面极坐标系中相位关联的最大值。在相同坐标系中，将得到的相位关联最大值与其阈值相比。当有任意一个值大于阈值时，则删除序号更大的图片。
第三步：根据轨道本身设计参数，拍摄到的图像及其当前位置对应的柱面曲率半径。
第四步：根据第三步获得曲率半径，对拍摄到的图像进行柱面投影。
第五步：利用自适应SIFT算法，计算相邻两舌(腭)侧投影图像(分别标记为第i张和第i+1张)的特征点坐标及其对应描述子。并根据这些信息进行特征点匹配。匹配的原则是，计算每一个特征点与其它特征点之间在描述子对应向量的欧式距离，选择距离最小的一个作为匹配的特征点。此外，当匹配完毕，还需要筛除同一张舌(腭) 侧图像中空间位置靠的比较近的特征点匹配对。这一过程通过设定距离阈值来完成,距离阈值通常为8个像素。
第六步：在两张舌(腭)侧投影图像之间，根据其特征点的匹配情况，利用局部(两张图间)光束平差法进行图像变换参数的计算 (透视变换参数)。具体可以分成两个步骤：第一、利用RANSAC算法获取一个粗匹配参数，与此同时获得这个参数对应的具有相似几何一致性的特征点集；第二、根据这些筛选出来的点，利用光束平差法完成两张图像间的精匹配过程。
第七步：利用第四步得到的匹配参数对两张舌(腭)侧投影图像进行拼接。拼接的流程是：首先，生成与图像尺寸等大的拼接模版，模版中每个像素的大小由这个像素的位置距离中心位置的距离决定；其次，将第i+1张图及其对应的模版按照第四步中得到的变换参数映射到将i张图及其对应的坐标空间中；比较两幅模版中每个像素的数值大小，保留大的那一个。最后，按照模版的数值对舌(腭)侧投影图像中像素进行加权求和，得到到将i张和到将i+1张的全景图Mi，i+1。
第八步：对第i+1和i+2张图重复以上第5－7步。将i+2张图映射到全景图Mi，i+1中，并进行粘合，获得到全景图Mi，i+2.重复这一过程获得所有图像的全景图。
本发明提出的基于口腔全景图像的牙检报告生成方法能有效简化舌(腭)侧拍摄的过程，让患者在家中可以完成舌(腭)侧全景图像的拍摄和拼接。这简化了获得舌(腭)侧全景图的获取成本，同时也提高了牙医的诊断效率。
以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。
Claims (4)
1.基于局部优化算法的牙齿舌腭侧全景图像拼接方法，其特征在于按照以下步骤进行：
1)牙齿舌腭侧的全景图像由微距摄像头进行采集，摄像头固定在预设于牙齿舌腭侧的附近的轨道上，拍摄时摄像头沿轨道滑动，在拍摄过程中，摄像头光轴与牙齿舌腭侧所在曲面的法线方向所成角度保持近似稳定；
2)所获取的牙齿舌腭侧视频按照其帧率保存为离散图片，在平面直角坐标系和平面极坐标系中对离散图片进行筛选；
3)根据拍摄视频和模型形状对于牙齿舌腭侧所形成柱面的半径进行估计；
4)估计得到的半径对每一张图片进行柱面投影；
5)计算相邻两张舌腭侧投影图像的特征点坐标，及其对应描述子，并根据这些信息进行特征点匹配，匹配过程中，利用特征点坐标信息剔除靠的过近的匹配特征点对；
6)在两张舌腭侧投影图像之间，根据其特征点的匹配情况，利用局部光束平差法进行图像变换参数的计算；
7)将得到得到两张舌腭侧投影图像按照计算得到的参数拼接为一张图像；
8)以得到的这张局部舌腭侧局部全景图为基础，重复步骤5)至步骤7)，依次将后续图像拼接到局部图上，直到所有图像都完成拼接，最后形成牙齿舌腭侧的全景图。
2.按照权利要求1所述基于局部优化算法的牙齿舌腭侧全景图像拼接方法，其特征在于：所述步骤2)中筛选原则是，设立关联性阈值，删除关联度高于所设阈值的图像。
3.按照权利要求1所述基于局部优化算法的牙齿舌腭侧全景图像拼接方法，其特征在于：所述步骤6)中局部是指两张图间。
4.按照权利要求2所述基于局部优化算法的牙齿舌侧面全景图像拼接方法，其特征在于：所述阈值选取通过以下过程实现:a.给定一组连续拍摄舌侧图像，任意选择某一图片作为基准图片，计算相邻图像与它的关联值大小；b.从按照关联值的大小，由高到低将对应的图像与基准图像两两拼接，直到拼接图像发生明显畸变或错误为止，这时对应的关联值标记为待选阈值；c.重复以上过程若干次，得到若干个待选阈值，选择最大值作为算法的阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810428939.6A CN108648146A (zh) | 2018-05-08 | 2018-05-08 | 基于局部优化算法的牙齿舌腭侧全景图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810428939.6A CN108648146A (zh) | 2018-05-08 | 2018-05-08 | 基于局部优化算法的牙齿舌腭侧全景图像拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108648146A true CN108648146A (zh) | 2018-10-12 |
Family
ID=63749651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810428939.6A Pending CN108648146A (zh) | 2018-05-08 | 2018-05-08 | 基于局部优化算法的牙齿舌腭侧全景图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108648146A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198501A (zh) * | 2013-04-09 | 2013-07-10 | 上海理工大学 | 一种牙齿全景图像自动重构方法 |
| US20130286174A1 (en) * | 2011-01-11 | 2013-10-31 | Kabushiki Kaisya Advance | Intraoral video camera and display system |
| US20150164446A1 (en) * | 2013-12-18 | 2015-06-18 | Planmeca Oy | Apparatus and method for generating dental panoramic images |
| US20160151026A1 (en) * | 2013-07-19 | 2016-06-02 | Axion Japan Co., Ltd. | Panoramic image capturing device, and image-based diagnostic method used therein |
| KR20160083788A (ko) * | 2014-12-31 | 2016-07-12 | 오스템임플란트 주식회사 | 치아 파노라마 영상 생성방법, 이를 위한 장치 및 이를 기록한 기록매체 |
| CN105957007A (zh) * | 2016-05-05 | 2016-09-21 | 电子科技大学 | 基于特征点平面相似度的图像拼接方法 |
| CN107798656A (zh) * | 2017-11-09 | 2018-03-13 | 南京齿贝犀科技有限公司 | 一种基于距离传感器和陀螺仪的口腔全景图像拼接方法 |
| CN107833179A (zh) * | 2017-09-05 | 2018-03-23 | 云南电网有限责任公司昆明供电局 | 一种红外图像的快速拼接方法及系统 |
-
2018
- 2018-05-08 CN CN201810428939.6A patent/CN108648146A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130286174A1 (en) * | 2011-01-11 | 2013-10-31 | Kabushiki Kaisya Advance | Intraoral video camera and display system |
| CN103198501A (zh) * | 2013-04-09 | 2013-07-10 | 上海理工大学 | 一种牙齿全景图像自动重构方法 |
| US20160151026A1 (en) * | 2013-07-19 | 2016-06-02 | Axion Japan Co., Ltd. | Panoramic image capturing device, and image-based diagnostic method used therein |
| US20150164446A1 (en) * | 2013-12-18 | 2015-06-18 | Planmeca Oy | Apparatus and method for generating dental panoramic images |
| KR20160083788A (ko) * | 2014-12-31 | 2016-07-12 | 오스템임플란트 주식회사 | 치아 파노라마 영상 생성방법, 이를 위한 장치 및 이를 기록한 기록매체 |
| CN105957007A (zh) * | 2016-05-05 | 2016-09-21 | 电子科技大学 | 基于特征点平面相似度的图像拼接方法 |
| CN107833179A (zh) * | 2017-09-05 | 2018-03-23 | 云南电网有限责任公司昆明供电局 | 一种红外图像的快速拼接方法及系统 |
| CN107798656A (zh) * | 2017-11-09 | 2018-03-13 | 南京齿贝犀科技有限公司 | 一种基于距离传感器和陀螺仪的口腔全景图像拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴辉: "全景影像的优化生成及其并行处理方法", 《中国优秀博硕士学位论文全文数据库(硕士) 基础科学辑》 * |
| 王佩军: "《摄影测量学》", 31 May 2016 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| CN102316247B (zh) | 图像处理装置 | |
| JP4585048B2 (ja) | 内視鏡システム | |
| US8692867B2 (en) | Object detection and rendering for wide field of view (WFOV) image acquisition systems | |
| KR101238608B1 (ko) | 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법 | |
| CN107948517B (zh) | 预览画面虚化处理方法、装置及设备 | |
| CN108055452A (zh) | 图像处理方法、装置及设备 | |
| JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| US20120120216A1 (en) | Endscope apparatus and program | |
| JP2010011441A (ja) | 撮像装置及び画像再生装置 | |
| CN103198501B (zh) | 一种牙齿全景图像自动重构方法 | |
| WO2023024697A1 (zh) | 图像拼接方法和电子设备 | |
| CN107205626B (zh) | 内窥镜装置和内窥镜装置的对焦控制方法 | |
| CN107798656B (zh) | 一种基于距离传感器和陀螺仪的口腔全景图像拼接方法 | |
| JP2020053774A (ja) | 撮像装置および画像記録方法 | |
| JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
| CN108597004A (zh) | 基于局部优化算法的牙齿咬合面全景图像拼接方法 | |
| CN110910449A (zh) | 识别物体三维位置的方法和系统 | |
| JP2011191860A (ja) | 撮像装置、撮像処理方法及びプログラム | |
| CN108615223A (zh) | 基于局部优化算法的牙齿唇颊侧全景图像拼接方法 | |
| CN108648146A (zh) | 基于局部优化算法的牙齿舌腭侧全景图像拼接方法 | |
| JP7179837B2 (ja) | 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法 | |
| CN107708517B (zh) | 内窥镜装置和对焦控制方法 | |
| TWI364725B (en) | Video processing method and video processing system | |
| CN114283236A (zh) | 一种用智能手机进行口腔扫描的方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181012 |