具体实施方式
以下参考附图详细说明多种实施例。以下说明的实施例可以通过多种不同形态变形实施。为了更明确地说明实施例的特征,对于以下实施例所属技术领域的技术人员知晓的内容,在此不再详细赘述。另外,还省略了与附图中实施例说明不相关的部分,并在整个说明书中,对于类似部分采用了类似的附图符号。
在整个说明书中,某结构与另一结构“连接”时,其不仅在指“直接连接”,还包括“其中隔着另一结构进行连接”的情况。另外,除非另有规定,某一结构“包括”某一结构并不是在指除去此外另一结构,而是在指还可能包括另外结构。
在进行说明之前,首先定义以下使用的术语的含义。
“头部图像”是指拍摄患者头盖或面部的图像,其用于观察头部或检测头部,例如,显示出头部解剖学中支点的位置或头部解剖学中部位之间的尺寸。
头部图像通常可以是放射线拍摄或计算机断层扫描(CT)诊断患者头部正面或侧面的照片,但头部图像的获取方法并不局限在上述例。并且,头部图像可以是二维图像,也可以是三维图像。
以下,将分别说明除了以上定义的术语之外需要做出说明的术语。
图1和图2是示出一实施例中头部图像分析装置的框图。
图像分析装置100可以生成已获取头部图像上结合辨认图像的分析图像。
所述头部图像分析装置100通过电子终端实施功能,或者通过服务器-客户端系统(或者云端系统)实施功能,所述系统包括为了与用户进行交互而安装在线服务用应用程序的电子终端。
此时,电子终端通过网络接入远程服务器,或者通过可以接入另一终端及服务器的计算机或便携式终端、电视机、可穿戴设备(Wearable Device)等实施功能。这里,例如,计算机包括装载网页浏览器(WEB Browser)的笔记本电脑、台式电脑(desktop)、便携式电脑(laptop)等,便携式终端作为保证便携性和移动性的无线通信装置,包括如PCS(Personal Communication System)、PDC(Personal Digital Cellular)、PHS(PersonalHandyphone System)、PDA(Personal Digital Assistant)、GSM(Global System forMobile communications)、IMT(International Mobile Telecommunication)-2000、CDMA(Code Division Multiple Access)-2000、W-CDMA(W-Code Division Multiple Access)、Wibro(Wireless Broadband Internet)、智能手机(Smart Phone)、移动手机WiMAX(MobileWorldwide Interoperability for Microwave Access)等这样的所有种类手提式(Handheld)无线通信装置。并且,电视机可以包括IPTV(Internet Protocol Television)、网络TV(Internet Television)、地面波TV、有线电视TV等。进一步,可穿戴设备是如手表、首饰、衣物、鞋等这样可供人体直接穿戴的信息处理装置,可以直接或通过另外信息处理装置经由网络接入远程服务器。
一实施例中头部图像分析装置100可包括控制部110和存储器120。
控制部110控制头部图像分析装置100的整体动作,可以包括CPU等程序。例如,控制部110控制包括在头部图像分析装置100的另外结构,以便于实施动作而应对通过输入输出部130接收的用户输入。
例如,控制部110实施保存在存储器120的程序,或者读取保存在存储器120的文件,或者将新文件保存在存储器120里。
本说明书一实施例中控制部110可以获取头部图像。
例如,控制部110包括放射线拍摄或计算机断层扫描诊断头部的装置(未图示),或者与所述装置实施通信,从所述装置获取头部图像。
并且,另一实施例中,控制部110可以决定对于已获取图像进行预处理并将预处理的图像用作头部图像。
例如,控制部110对于已获取图像适用直方图均衡化参数或者适用高斯模糊(Gaussian Blur)或卷绕(warping),或者沿着X轴及/或Y轴进行定标(scale),或者缩小或修剪(crop)学习图像,或者变更像素值而提高清晰度,从而实施针对图像的预处理。
并且,另一实施例中,已获取图像是原始图像(raw image)时,控制部110从原始图像获取头部图像。为此,控制部110预处理原始图像。
在与此相关的问题上,原始图像是包括头部图像在内的图像,像拍摄患者上身的X射线图像一样,可以是拍摄包括头部图像在内的患者其他身体部位的图像。
控制部110探索给定标识符是否位于原始图像上给定区域内。例如,探索原始图像上给定区域内是否存在被标记成“眼窝”的标识符。此时,由具备任一尺寸和形状的闭合曲线组成的视窗位于原始图像上时,头部图像分析装置100将所述视窗内区域设定为给定区域,所述视窗在原始图像上移动并设定各种范围的区域。
并且,例如,为了探索给定标识符是否位于视窗内给定区域内,头部图像分析装置100利用机器学习(或深度学习或CNN)。例如,头部图像分析装置100对于给定区域实施CNN,提取所述区域内的标识符所在坐标。所述坐标可以由一个以上坐标组成,也可以是给定区域内的坐标,或者是原始图像上的坐标。
如上所述,控制部110提取原始图像上给定标识符坐标之后,基于提取的坐标获取头部图像。
例如,控制部110提取原始图像中被确定为头部图像特征的“眼窝”、“下颌骨”、“鼻腔”三个标识符。为了提取3个标识符,控制部110可以一边移动视窗一边提取与标识符相对应的坐标。并且,控制部110基于提取的坐标,在原始图像上设定被认定为头部图像的区域,从而获取头部图像。例如,头部图像分析装置100将包括以上3个标识符和各标识符给定范围的区域设定为头部图像。
此时,将标识符标记为三个只不过是事例,标识符的数量并不受限制。在与此相关的问题上,标识符可以由一坐标组成,也可以由多个坐标组成,成为人体的特定器官。因此,标识符可以是像“眼窝”一样的中心支点,也可以是像“眼窝”、“鼻子”、“脊椎1号”、“颌部”等一样的人体器官本身。
为了使已获取的头部图像进一步符合标准,控制部110可以加工头部图像,以便于更容易提取标志性支点。即,由于控制部110曾经采用学习图像学习,可以使头部图像符合标准,以使其与为学习图像设定的设定值相同或类似。例如,头部图像分析装置100可以变更头部图像的清晰度、亮度等或者放大/缩小头部图像的尺寸等,以使其符合标准。控制部110将经过规范化处理的头部图像确定为获取的头部图像。
如上所述,判定为已经获取头部图像时,控制部110提取头部图像上的标志性支点。
此时,“标志性支点”是医护人员实施牙齿矫正、两颌手术等时必须要了解的部位,是指在患者头部图像上用于辨别的关注部位。标志性支点形成多种组合,用于判断患者头部状态的参考部位。传统技术中,由医术熟练的医护人员亲自在头部图像上选定标志性支点做出标记,而本说明书的实施例则由头部图像分析装置100提取头部图像上的标志性支点。
一实施例中,控制部110通过几何运算提取头部图像上的标志性支点。即,头部图像上标志性支点是不具有特征的或者是从几何学角度定义的标志性支点时,可以通过几何运算进行提取。例如,将运算下颌平面(mandibular plane)和分支(ramus)的对切点而导出的支点作为下颌角点(gonion)的标志性支点进行提取。
并且,另一实施例中,控制部110利用机器学习提取头部图像上的标志性支点。
另一实施例中,控制部110利用深度学习提取头部图像上的标志性支点。
另一实施例中,控制部110利用CNN(convolutional neural network)提取头部图像上标志性支点。为此,头部图像分析装置100可以获取一个以上标记标志性支点的头部图像,也可以利用所述一个以上图像学习CNN,并利用学习到的CNN提取头部图像上的标志性支点。
为此,例如,控制部110从为CNN的学习获取的图像通过卷积(convolution)制作特征图谱(feature map),通过所述特征图谱的二次采样(subsampling)对获取的局部特征(local feature)实施卷积和二次采样,对获取的特征重新实施卷积和二次采样而获取特征,反复实施对所述获取的特征重新实施卷积和采样的步骤,将获取的整体特征(globalfeature)接入通常的全连接网络(fully connected network)而得到最佳识别结果。
即,如上所述,控制部110为了提取头部图像上的标志性支点,利用标记标志性支点(或者在标志性支点上结合识别图像)的学习图像进行学习。为了所述CNN学习,可以预处理学习图像,例如,对于学习图像适用直方图均衡化参数,或者适用高斯模糊,或者适用卷绕效应,或者X轴及/或Y轴进行定标,或者缩小或修剪学习图像,或者变更像素值等而提高清晰度。
并且,例如,控制部110可以利用CNN进行分割(segmentation),以提取头部图像上的标志性支点。分割是划分头部图像上具有意义的部分的方法,可以将已经公开的多种分割方法适用于本说明书记载的实施例之中。例如,利用矩形图确认像素的分布之后,设定合理值的临界值,按各像素进行分类,或者提取具有意义的边缘(edge)进行划分,或者划分成具有共性(homegenety)的区域。
又另一实施例中,控制部110设定头部图像上的关注区域,提取关注区域内的标志性支点。头部图像分析装置100为设定关注区域可以利用机器学习(或深度学习或CNN),为提取所述关注区域内的标志性支点同样可以利用机器学习(深度学习或CNN)。
在与此相关的问题上,图3是示出头部图像分析装置100设定头部图像上关注区域并提取标志性支点的示意图。
如图3中(a)所示,头部图像分析装置100可以设定一个以上头部图像300上的关注区域310、320、330、340、350,关注区域可以分别具有不同形状、不同尺寸或者相同形状、相同尺寸。
设定关注区域310、320、330、340、350时,头部图像分析装置100可以利用机器学习检测(detection)医学上判定为主要部位的区域。即,通过机器学习辨别关注对象的位置,用边框(bounding box)进行分类。例如,头部图像分析装置100利用机器学习检测判定为“颌部”的区域,将构成颌部的区域设定为关注区域。与检测相关的公开技术可以适用于本说明书记载的实施例之中。并且,设定关注区域310、320、330、340、350时,如果视窗位于头部图像300上,头部图像分析装置100就会将视窗内区域设定为关注区域。对此,头部图像分析装置100一边移动视窗一边变更关注区域,或者将所述视窗置于固定位置,将指定范围的区域设定为关注区域。
此时,如图3中的(a)所示,可以分成实线内的关注区域和所述关注区域内的用虚线划分的下级关注区域。下级关注区域是获取标志性支点的主要部位,例如,将作为一主要部位的下颌角点或者下颌角点周边区域设定为下级关注区域,并以所述下级关注区域的中心为准,进一步设定环绕所述下级关注区域的关注区域,从而使错误地设定关注区域带来的标志性支点提取错误达到最低,从而更精准地捕捉标志性支点。
如上所述,可以针对选定的关注区域提取标志性支点。有一种针对应该提取成标志性支点的部位的学习模型。通过所述模型进行分割(segmentation)而生成概率图像映射,在生成的概率映射中设定二进制大对象(blob),将二进制大对象的支点提取成标志性支点。如此,可以针对各关注区域310、320、330、340、350提取标志性支点,例如,像图3中的(a)的关注区域310一样,可以采用图3中的(b)示出的关注区域310标志性支点。如上所示,提取的标志性支点可以具有较高程度的精确度。
如上所述,成为头部图像上主要分析对象的部分可以利用机器学习(或深度学习或CNN)设定为关注区域,并提取关注区域内标志性支点,从而解决没有整齐地排列头部图像的角度或位置时难以提取标志性支点的弊端,快速精准地提取标志性支点。
另外,另一实施例中,控制部110利用机器学习(或深度学习或CNN)提取要提取的标志性支点,并通过几何运算进行提取。因此,例如,要提取下颌角点作为标志性支点时,控制部110可以分别通过机器学习和几何运算,将提取的支点中之一作为下颌角点。例如,控制部110利用机器学习提取的标志性支点的可靠性低于给定值时,可以将通过几何运算将获取的支点作为下颌角点来提取。
另外,另一实施例中,控制部110要提取标志性支点时,如果利用机器学习(或深度学习或CNN)提取,就可以通过几何运算检验提取的支点。
此时,可以判断通过机器学习提取的标志性支点与通过几何运算提取的支点是否处在相同的位置并进行检验。并且,可以通过几何运算检验采用机器学习提取的标志性支点的周边支点或器官结构是否存在。在此过程中,可以利用贝叶斯定理(Bayesian)(或极大似然法(likelihood maximization)方式)求出与标志性支点的周边支点或器官结构相对应的支点之间相对位置的可靠性。例如,检验被提取成耳外道上缘中点(Por:porion)的标志性支点是否位于后颅底面(posterior cranial base surface)和髁头或髁颈(condylarhead or neck)的交叉点(Ar;articulare)的左侧上端,并将其结果用可靠性表示出来。并且,可以通过几何运算检验通过机器学习提取的标志性支点的尺寸。并且,通过运算特定支点的尺寸(与其他支点之间的相对尺寸或绝对尺寸均包括在内)或器官结构的尺寸(与其他器官之间的相对尺寸或绝对尺寸均包括在内)检验通过机器学习提取的标志性支点的周边是否存在特定支点或器官结构。
并且,另一实施例中,控制部110通过几何运算提取要提取的标志性支点,并利用机器学习(或深度学习或CNN)检验即将提取的支点。
例如,控制部110运算下颌平面(mandibular plane)和分支(ramus)的对切点而导出的支点提取成下颌角点(gonion)的标志性支点,从几何学角度提取下颌角点,并以提取的支点为中心,利用机器学习进行分析,检验提取的支点是否与颌角点相吻合。
进一步,控制部110通过机器学习(或深度学习或CNN)或几何运算检验关注区域的设定是否精准。例如,控制部110划分(classification)所述关注区域的图像,检验通过机器学习的检测(detection)提取的关注领域是不是要获取的关注领域,或者用可靠性表示出来。并且,例如,控制部110也可以通过所述关注区域周边的支点或器官结构检验通过机器学习的检测提取的关注区域是不是要获取的关注区域。
如上所述,可以同时实施机器学习和几何运算,提升被提取的标志性支点的精准度和可靠性。与此同时,如上所述,提取头部图像上标志性支点时,控制部110在标志性支点结合识别图像而生成分析图像。
即,将头部图像改成分析图像时,控制部110在头部图像上合成识别图像,而合成所述识别图像时,在标志性支点合成识别图像。
并且,控制部110将分析图像提供给用户。进一步,控制部110决定是否提供包括分析图像在内的报表。
此时,一实施例中,控制部110生成分析图像照原样成为局部内容的报表来达到提供的目的。
又另一实施例中,控制部110提供加工分析图像的报表。
另外,存储器120设置和保存文件、应用程序及程序等多种数据。控制部110接近保存在存储器120的数据而加以利用或者将新数据保存在存储器120里。并且,控制部110还可以运行设置在存储器120的程序。参考图1时,存储器120设置用于实施头部图像分析方法并可供计算机读取的程序。并且,存储器120可以保存分析头部图像产生的识别图像、分析头部图像产生的分析图像或者报表。
一实施例中,用户输入有关分析头部图像的请求信息时,控制部110运行保存在存储器的头部图像分析方法实施程序,分析头部形象。
与此同时,如图2所示,头部图像分析装置100还可以包括输入输出部130。
输入输出部130包括用于获取头部图像或者向用户提供分析图像的多种形态输入输出支持结构,也可以包括接收用户输入信息的输入部以及用于显示操作实施结果或头部图像分析装置100状态等信息的输出部。例如,输入输出部130包括接收用户输入信息的操作面板(operation panel)和显示界面的显示面板(display panel)等。
更具体地讲,输入部可以包括像键盘、物理按键、触摸屏、摄像头或扩音器等一样接收多种形态用户输入信息的装置。并且,输出部可以包括显示面板或扬声器等,但并受此限制,输入输出部130可以包括支持多种输入及输出的结构。
另外,头部图像分析装置100还进一步包括通信部140。
通信部140可以与其他设备或网络实施有线及无线通信。为此,通信部140可以包括用于支持多种有线及无线通信方法中之一的通信模块。例如,通信模块通过芯片组(chipset)的形态得到体现。
通信部140支持的无线通信可以是Wi-Fi(Wireless Fidelity)、Wi-FiDirect、蓝牙(Bluetooth)、UWB(Ultra Wide Band)或NFC(Near Field Communication)等,并且,通信部140支持的有线通信可以是USB或HDMI(High Definition Multimedia Interface)等。
图4至图6是示出一实施例中图像分析方法的流程图。
图4至图6所示实施例的图像分析方法包括图1或图2示出的头部分析装置(100)以时间数列进行处理的步骤。因此,即使以下内容省略而不再赘述,但图1或图2所示头部图像分析装置100的以上阐述同样适用于图4至图6所示实施例的图像分析方法之中。
以下,图4至图6将参考图7至图8详细说明。图7至图8是示出一实施例中图像分析方法的示意图。
为了实施本发明一实施例中头部图像分析方法,头部图像分析装置100利用显示标志性支点的学习图像进行学习。此时,头部图像分析装置100预处理用于学习的学习图像,例如,针对学习图像适用直方图均衡化参数,或者高斯模糊,或者卷绕,沿着X轴及/或Y轴进行定标(scale),或者缩小或修剪(crop)学习图像,或者变更像素值,或者提高清晰度。利用预处理的学习图像学习过的头部图像分析装置100从头部图像提取标志性支点。
如图4所示,头部图像分析装置100获取头部图像(S410)。
头部图像分析装置100包括放射线拍摄或计算机断层扫描(CT)诊断装置(未图示),或者与所述装置进行通信,通过所述装置获取头部图像。
并且,头部图像分析装置100通过外置装置(未图示)接收图像,也可以以头部图像接收图像。
在与此相关的问题上,头部图像分析装置100在获取图像时,决定是否以头部图像获取图像。
即,另一实施例中,头部图像分析装置100判断获取的图像是不是头像图像之后,只有判断是头部图像时,才决定获取头部图像。
例如,分析获取的图像后,认为没有包括构成头部的图像时,判定所述图像不是头部头像。即,分析获取的图像之后,发现没有包括牙齿图像时,判定所述图像不是头部图像。
又另一实施例中,头部图像分析装置100判断获取的图像能否可以作为头部图像进行分析之后,只有判定可以进行分析时,才确定已经获取了头部图像。
例如,头部图像分析装置100分析获取图像的清晰度、尺寸等,以判断是否可以分析。因此,例如,获取的图像具有的清晰度低于给定的以上清晰度或者具有的尺寸小于给定的以上尺寸时,将判定所述图像难以分析,并确定没能获取头部图像。
又另一实施例中,头部图像分析装置100预处理获取的图像之后,将预处理的图像确定为头部图像。
例如,头部图像分析装置100认为获取的图像不符合给定标准时,修改图像,以使其符合于所述标准,或者与其他图像合成。例如,头部图像分析装置100实施提高获取图像清晰度或者调整亮度或者放大或缩小尺寸等预处理。
又另一实施例中,头部图像分析装置100获取的图像是原始图像时,可以从原始图像获取头部图像。
又另一实施例中,头部图像分析装置100可以针对获取的头部图像进一步实施规范化处理。头部图像分析装置100可以将完成规范化处理的头部图像确定为获取的头部图像。
如上所述,判定已经获取头部图像时,头部图像分析装置100提取头部图像上的标志性支点(S420)。
例如,头部图像分析装置100通过几何运算提取头部图像上的标志性支点。并且,例如,头部图像分析装置100利用机器学习、深度学习或CNN提取头部图像上的标志性支点。
并且,例如,可以提取头部图像上的关注区域,并提取关注区域内的标志性支点。头部图像分析装置100为提取关注区域可以利用机器学习、深度学习或CNN,为提取所述关注区域内标志性支点同样可以利用机器学习、深度学习或CNN。
在与此相关的问题上,如图5所示,步骤S420分析头部图像识别第1支点(S510)时,基于第2支点检验第1支点,并判定第1支点提取精准时,将第1支点确定为标志性支点(S520)。
此时,第1支点和第2支点分别在指出头部图像上一支点,只不过是区别彼此的称呼,并不在指特定支点。
一实施例中,头部图像分析装置100通过多种实施例识别预计是头部图像上标志性支点的第1支点。
一实施例中,头部图像分析装置100通过几何运算提取预计是头部图像上标志性支点的第1支点。即,可以通过几何运算提取位于头部图像上的不具有特征的标志性支点或者从几何学角度定义的标志性支点。例如,可以将运算下颌平面(mandibular plane)和分支(ramus)的对切点而导出的第1支点作为下颌角点(gonion)的标志性支点进行提取。
另一实施例中,头部图像分析装置100利用机器学习提取预计是头部图像上标志性支点的第1支点。
另一实施例中,头部图像分析装置100利用深度学习提取预计是头部图像上标志性支点的第1支点。
另一实施例中,头部图像分析装置100利用CNN提取预计是头部图像上标志性支点的第1支点。为此,头部图像分析装置100可以获取一个以上标记标志性支点的头部图像,也可以利用所述一个以上图像和CNN提取头部图像上的标志性支点。
为此,例如,头部图像分析装置100从为CNN的学习获取的图像通过卷积(convolution)制作特征图谱(feature map),通过所述特征图谱的二次采样(subsampling)对获取的局部特征(local feature)实施卷积和二次采样,对获取的特征重新实施卷积和二次采样而获取特征,反复实施对所述获取的特征重新实施卷积和二次采样的步骤,将获取的整体特征(global feature)接入通常的全连接网络(fully connectednetwork)而得到最佳识别结果。
并且,例如,头部图像分析装置100可以利用CNN进行分割(segmentation),以提取头部图像上的标志性支点。分割是划分头部图像上具有意义的部分的方法,可以将已经公开的多种分割方法适用于本说明书记载的实施例之中。例如,利用矩形图确认像素的分布之后,设定合理值的临界值,按各像素进行分类,或者提取具有意义的边缘(edge)进行划分,或者划分成具有共性(homegenety)的区域。
又另一实施例中,头部图像分析装置100可以提取头部图像上的关注区域,也可以提取预计是关注区域内标志性支点的第1支点。头部图像分析装置100为提取关注区域利用机器学习、深度学习或CNN,为提取预计是所述关注区域内标志性支点的第1支点利用机器学习、深度学习或CNN。
又另一实施例中,头部图像分析装置100在头部图像上移动视窗,将视窗内区域设定为关注区域,并提取预计是关注区域内标志性支点的第1支点。要从头部图像提取的标志性支点有N个(N是1以上整数)时,为了分别提取N个标志性支点,头部图像分析装置100按照各个标志性支点分别实施N次提取关注区域内第1支点的步骤。
另外,另一实施例中,头部图像分析装置100利用机器学习提取预计是要提取的标志性支点的第1支点,也可以通过几何运算进行提取。因此,例如,要想提取颌角点作为标志性支点,头部图像分析装置100分别通过机器学习和几何运算,从提取的支点中提取其中之一来作为第1支点。例如,利用机器学习提取的标志性支点的可靠性低于给定值时,头部图像分析装置100提取通过几何运算获取的支点来作为第1支点。
另外,头部图像分析装置100可以检验识别的第1支点,一实施例中,利用机器学习、深度学习或CNN提取时,头部图像分析装置100可以通过几何运算检验提取的第1支点。
此时,可以判断通过机器学习、深度学习或CNN识别的第1支点是否与通过几何运算提取的第2支点处在相同位置并进行检验,或者可以通过几何运算检验通过机器学习、深度学习或CNN提取的第1支点的周边支点或器官结构是不是第2支点并进行检验。例如,检验第1支点作为耳外道上缘中点(Por:porion)的标志性支点,是否位于将后颅底面(posterior cranial base surface)和髁头或髁颈(condylar head or neck)的交叉点(Ar;articulare)确定为第2支点时所述第2支点的左侧上端,并将其结果用可靠性表示出来。
进一步,头部图像分析装置100通过机器学习、深度学习或CNN或几何运算检验关注区域的设定是否精准。例如,头部图像分析装置100划分(classification)所述关注区域的图像,检验通过机器学习的检测(detection)提取的关注领域是不是要获取的关注领域,或者用可靠性表示出来。并且,例如,头部图像分析装置100也可以通过所述关注区域周边的支点或器官结构检验通过机器学习的检测提取的关注区域是不是要获取的关注区域
又另一实施例中,头部图像分析装置100利用机器学习、深度学习或CNN检验要提取的标志性支点和从几何角度提取的第1支点。例如,头部图像分析装置100以对于头部图像实施机器学习、深度学习或CNN获取的第2支点为准,判断第1支点是否位于给定半径内,检验第1支点是否适合作为标志性支点。
通过上述方法进行检验时,提取的标志性支点不是要提取的标志性支点或者没能提取要提取的支点时,头部图像分析装置100可以重新提取标志性支点。
此时,头部图像分析装置100可以从现有头部图像重新提取标志性支点。头部图像分析装置100可以获取并非现有头部图像的新头部图像,从而分析新头部图像而提取标志性支点。为此,可以从原始图像重新获取头部图像或者对于头部图像重新实施规范化处理。
如上所述,可以同时实施机器学习和几何运算,以提高提取的标志性支点的精准性和可靠性。并且,如上所述,头部图像分析装置100在提取头部图像上标志性支点时,可以在标志性支点结合识别图像来生成分析图像(S430)。
即,将头部图像改成分析图像时,头部图像分析装置100在头部图像上合成识别图像,而合成所述识别图像时,在标志性支点合成识别图像。
此时,头部图像分析装置100可以在标志性支点合成形状相同的识别图像。
头部图像分析装置100或者保存多个识别图像,并根据标志性支点的不同位置分别合成不同的识别图像。
另外,头部图像分析装置100想用户提供分析图像(S440)。
进一步,头部图像分析装置100决定是否提供包括分析图像在内的报表(S450)。
例如,头部图像分析装置100可以在只有用户要求提供报表时,提供报表。
另一实施例中,针对包括分析图像在内的报表的提供,头部图像分析装置100可以在系统内设置默认值而提供报表。
并且,例如,头部图像分析装置100可以只针对具有给定阈值以上值的分析图像提供报表。例如,可以只有在特定支点比起通常显示的位置处在给定范围之外的位置时以及患者具有与所述特定支点相对应的识别图像显示的头部时,针对分析图像提供报表。
如上所述,头部图像分析装置100决定提供报表时,可以直接包括分析图像或者加工分析图像而生成报表之后提供(S460)。
此时,一实施例中,头部图像分析装置100在生成和提供报表时,可以使分析图像直接构成报表的局部内容。
又另一实施例中,头部图像分析装置100可以提供加工分析图像的报表。
又另一实施例的头部图像分析方法中,头部图像分析装置100可以在获取头部图像之前,收取原始图像而提取标志性支点,对此,以下,将参考图6做出详细说明。
如图6所示,头部图像分析装置100可以预处理原始图像(S610)。即,头部图像分析装置100对于原始图像适用直方图均衡化参数,或者适用高斯模糊(Gaussian Blur),或者适用卷绕(warping),或者沿着X轴及/或Y轴进行定标(scale),或者缩小或修剪(crop)学习图像,或者变更像素值而提高清晰度,从而实施针对原始图像的预处理。
并且,头部图像分析装置100可以从原始图像获取头部图像(S620)。
获取头部图像的一实施例中,头部图像分析装置100可以探索给定标识符是否位于输入成分析对象的原始图像上的给定区域内。
例如,可以探索原始图像上给定区域内是否存在被标记成“眼窝”的标识符。此时,头部图像分析装置100可以在原始图像上,将由具备任一尺寸和形状的闭合曲线组成的视窗内区域设定为给定区域,所述视窗一边移动原始图像上一边设定多种范围的区域。
并且,例如,为了探索给定标识符是否位于视窗内给定区域内,头部图像分析装置100可以利用机器学习(或深度学习或CNN)。例如,头部图像分析装置100对于给定区域实施CNN,提取所述区域内的标识符所在坐标。所述坐标可以是给定区域内的坐标,也可以是原始图像上的坐标。
如上所述,头部图像分析装置100提取原始图像上给定标识符的坐标之后,基于提取的坐标获取头部图像。
例如,原始图像是拍摄患者上身的x射线图像时,头部图像分析装置100从原始图像提取可以特定为头部图像的“眼窝”、“下颌骨”、”鼻腔”三个标识符。为了提取3个标识符,头部图像分析装置100可以一边移动视窗一边提取与标识符相对应的坐标。并且,头部图像分析装置100基于提取的坐标,在原始图像上设定被认定为头部图像的区域,从而获取头部图像。例如,头部图像分析装置100将包括以上3个标识符和各标识符给定范围的区域设定为头部图像。
头部图像分析装置100针对已获取的头部图像实施规范化处理而加工头部图像,以使标志性支点的提取变容易。例如,头部图像分析装置100实施更改头部图像清晰度、亮度等或者放大/缩小头部图像尺寸等规范化处理。或者例如,头部图像分析装置100可以放大定标儿童头部图像或者缩小定标头部偏大患者的头部图像。
如上所述,头部图像分析装置100可以获取头部图像,也可以提取所述头部图像的标志性候选支点(S630)。
标志性候选支点是指提取成标志性支点的支点,意指检验之前的支点。
为了提取标志性候选支点,头部图像分析装置100提取头部图像上的关注区域,提取关注区域内标志性候选支点。头部图像分析装置100为提取关注区域可以利用机器学习(或深度学习或CNN),为提取所述关注区域内标志性候选支点同样可以利用机器学习(或深度学习或CNN)。
使视窗在头部图像上移动或位于固定位置,以设定关注区域。
要从头部图像提取的标志性支点有N个(N是1以上整数)时,为了分别提取N个标志性支点,头部图像分析装置100实施N次设定关注区域并提取关注区域内标志性候选支点的步骤。此时,如果预测到标志性支点位于头部图像的特定位置,头部图像分析装置100就可以将视窗固定在所述特定位置而提取标志性候选支点。例如,标志性支点位于颌周边时,头部图像分析装置100将包括颌部的区域设定为关注区域,从所述关注区域提取标志性候选支点。
头部图像分析装置100可以检验被提取的标志性候选支点(S640)。
一实施例中,头部图像分析装置100可以并行几何运算,从而利用机器学习(或深度学习或CNN)检验获取的标志性支点是否脱离给定位置。另一实施例中,头部图像分析装置100检验耳外道上缘中点(Por:porion)或A点(是在头部侧面上确定的支点,是从鼻头端到上颌翼状突起棱的弯骨部分中最突出部分)是否被精准提取而作为标志性支点,从而检验标志性候选支点是否提取得精准。
经过上述检验过程发现提取的标志性候选支点没有被精准提取或者检验所有提取的标志性候选支点也没发现要提取的标志性支点时,头部图像分析装置100从原始图像重新获取头部图像,或者对于获取的头部图像重新实施规范化处理而获取新的头部图像,以重新提取新头部图像的标志性候选支点并实施检验。即,重新实施步骤S620至步骤S640,从而提取精准的标志性支点。
并且,如上所述,头部图像分析装置100提取头部图像上的标志性支点时,在标志性支点结合识别图像而生成分析图像,提供分析图像或报表。在与此相关的问题上,与图4中各个步骤对于相同附图符号进行的说明相同,因此,以下将省略图6中步骤S430至步骤S460的说明。
图7至图8是示出头部图像分析装置100提供报表的示意图。
例如,用线段连接分析图像上显示的识别图像之间,直观地显示出患者的头部状态。例如,为了分析患者头部状态中的下牙(dental alveolar-lower incisor),如图8所示,提供用线段连接识别图像之间而分析患者头部上下牙状态的报表。
并且,可以采用同时显示出与分析图像上各识别图像相对应的信息的方法,为用户提供报表。例如,可以提供应用识别图像检测头部的结果值,如图8所示,也可以运算患者乳齿时期上下前齿轴倾斜角(interincisal angle),与平均值同时显示出来。
并且,如图7所示,可以提供包括分析图像上合成另外图像的图像在内的报表。
以上实施例使用的“~部”术语是指软件或FPGA(field programmable gatearray)或ASIC等软件构成要素,“~部”将起到某种作用。但是,“~部”并不受到软件或硬件的限定。“~部”可以保存在可编址存储介质之中,也可以重放1个或其以上程序。因此,一例中,“~部”包括:软件构成要素、面向对象的软件构成要素、类构成要素及任务构成要素等构成要素;程序、函数、属性、程序、子程序、程序专有编码的段表、驱动器、固件、微码、电路、数据、数据库、数据结构、平台、阵列及变量。
构成要素和“~部”内提供的功能可以与更小数字单位的构成要素及“~部”结合,或者从附加构成要素和“~部”分离。
与此同时,构成要素和“~部”可以重放设备或安保多媒体卡内1个或其以上CPU。
图4至图6实施例所示图像分析方法可以通过用于存储由计算机实施的指令和数据并可以用计算机读取的介质形态得到实现。此时,指令和数据可以采用程序编码形态保存,如果由处理器实施,则可以生成给定程序模块来实施给定动作。并且,可以用电脑读取的介质可以是通过计算机接入的任一可用介质,易失性及非易失性介质、分离型及非分离型介质均包括在内。并且,计算机可读介质可以是计算机记录介质,而计算机记录介质中,计算机可读指令、数据结构、程序模块或者通过其他用于保存数据等信息的任一方法或技术体现的易失性及非易失性、分离型及非分离型介质均包括在内。例如,计算机记录介质可以是HDD及SSD等磁性存储介质和CD、DVD及蓝光光盘等光学记录介质或者包括在可以通过网络接入的服务器的存储器。
并且,图4至图6实施例所示图像分析方法可以通过包括由计算机实施的指令的计算机程序(或者计算机程序产品)得到实现。计算机程序包括通过处理器处理的可编程机器指令,并通过高级程序设计语言(High-level Programming Language)、面向对象编程语言(Object-oriented Programming Language)、汇编语言或机器语言等实现。并且,计算机程序可以记录在有形计算机可读记录介质(如,存储器、硬盘、磁性/光学介质或SSD(Solid-State Drive)等)里。
因此,图4至图6实施例中图像分析方法通过计算装置运行上述计算机程序来实现。计算装置包括处理器、存储器、保存装置、接入存储器及高速增强端口的告诉接口、接入低速母线和保存装置的低速接口中至少一部分。所述各构成分别利用多种母线相互接入,并可以采用搭载于通用主机接线板或者其他妥当方式进行安装。
这里,处理器可以在计算装置内处理指令,该指令像接入到高速接口的显示器一样,可以是为了显示出向外置输入及输出装置提供GUI(Graphic User Interface)的图表信息而保存在存储器或保存装置的指令。另一实施例中,同时利用多个处理器及/(或)多个母线与适量多个存储器及存储器形态。并且,处理器可以通过由芯片组成的芯片组得到运行,而该芯片组由包括独立的多个模拟及(或)数字处理器的芯片组成。
并且,存储器在计算装置内保存信息。一例中,存储器可以由易失性存储器单元或其集合组成。另一例中,存储器可以由非易失性存储器单元或其集合组成。并且,存储器可以是不同形态的计算机可读介质,如磁盘或光盘。
并且,保存装置为计算装置提供大容量保存空间。保存装置可以是计算机可读介质或者包括该介质的结构,例如,可以包括SAN(Storage Area Network)内装置或其他结构,也可以是磁盘驱动器、硬盘装置、光盘装置或磁带装置、闪存卡、与其类似的其他半导体存储器装置或装置数组。
记载上述实施例的目的只是为了示意,上述实施例所属技术领域的技术人员应当可以理解,不更改上述实施例具有的技术思想或必备技术特征的前提下,应该可以很容易地更改为其他具体形态。因此,我们应当理解,上述实施例只是用来整体上说明本发明,并不用来限制本发明。例如,应该以单一型说明的各构成单元可以离散运行,同样视作离散的构成单元也可以采用结合形态运行。
通过本说明书请求保护的范围并不依据所述详细说明书得以确定,而是通过后述权利要求书得到体现。权利要求书的含义及范围乃至通过其等同概念导出的所有变更或变形形态均涵盖在本发明的权利要求范围当中。