CN106456097B - 图像处理装置、图像处理方法以及图像处理系统 - Google Patents
图像处理装置、图像处理方法以及图像处理系统 Download PDFInfo
- Publication number
- CN106456097B CN106456097B CN201580034174.2A CN201580034174A CN106456097B CN 106456097 B CN106456097 B CN 106456097B CN 201580034174 A CN201580034174 A CN 201580034174A CN 106456097 B CN106456097 B CN 106456097B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- information
- display control
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Abstract
提供一种图像处理装置以及方法,在对预先设定了关注区域的大量的体数据进行解读时,可通过交互式操作来实现尽可能高速且无忽略的解读。图像处理装置从拍摄到的三维图像生成二维图像并进行显示,在该图像处理装置中,接收与包含二维图像的显示控制输入的速度的显示控制的第一次信息相关联的输入信号,根据输入信号计算显示控制的第一次信息,并根据关注区域的信息和显示控制的第一次信息来计算包含二维图像的显示速度的显示控制的第二次信息,根据显示控制的第二次信息来依次生成二维图像并进行显示。
Description
技术领域
本发明涉及一种从三维图像生成二维图像来进行显示的图像处理装置、图像处理方法以及图像处理系统。
背景技术
在使用以X射线CT(X-ray Computed Tomography:X射线计算机断层成像)装置、MRI(Magnetic Resonance Imaging:磁共振成象)装置等为代表的医用图像检查装置的诊断中,通常将拍摄到的三维医用图像(以下,还称为“体数据”)重建为连续的二维图像来进行解读。
拍摄装置具有性能逐年提高,每个体数据的数据大小增加的趋势。另外,特别是在CT装置中有时能够进行低剂量且高画质的体数据的拍摄,具有拍摄机会也增加的趋势。因此,为了对这些庞大的医用体数据进行解读,医生、技师的负担非常高。
为了减轻这种负担,CAD(Computer Aided Detection,计算机辅助检测或Computer Aided Diagnosis,计算机辅助诊断)的使用需求正在提高。CAD是指通过计算机和基于该计算机的信息处理技术来进行图像信息的量化和分析的系统及其方法。
作为CAD的代表性功能,例如可举出将医用体数据设为对象数据,根据其体素(voxel)的值和分布,使用图像处理技术来自动地提取疾病可疑性高的区域来提示为关注区域的功能等。但是,CAD始终是辅助诊断,在进行包含有关注区域是否相当于疾病区域的判断的诊断时,需要医生确认。
在对通过CAD等预先设定了关注区域的体数据进行解读时,作为对医生、技师要求的确认事项,存在观察预先设定的关注区域来确认是否正确地设定在疾病区域以及观察没有设定关注区域的区域来确认是否不存在疾病区域等确认事项,需要尽可能高速且无忽略地进行这些确认事项。
以往,提出了在对预先设定了关注区域的大量的体数据进行解读时,用于无忽略且高速地执行的技术。
例如,在专利文献1中提出了使在与关注区域相交的图像截面中生成的上述图像数据的显示速度比在其它的图像截面中生成的上述图像数据的显示速度慢,以便于详尽进行解读的装置以及程序。
在先技术文献
专利文献1:日本特开2013-85622号公报
发明内容
发明要解决的课题
在专利文献1所公开的技术中,在解读中自动地降低到显示速度慢的速度,因此直到操作人员认为不需要的部分为止为低速的显示,结果解读时间整体上增加以及成为交互性低的操作,因此存在操作人员的压力增加等问题。
本发明的目的在于提供一种图像处理装置以及图像处理方法,其能够通过交互式操作来实现尽可能高速且忽略少的解读。
用于解决课题的手段
本发明的图像处理装置的特征在于,具备:存储部,其存储与三维图像有关的图像数据库;输入接收部,其接收与用户终端的操作相伴的输入信号;显示控制的第一次信息的计算部,其计算包含接收到的输入信号的速度的显示控制的第一次信息;显示控制的第二次信息的计算部,其根据判断为在三维图像中包含疾病的可疑性高的关注区域的信息以及计算出的显示控制的第一次信息来计算包含从三维图像生成的二维图像的显示速度的显示控制的第二次信息;以及图像生成发送部,其根据计算出的显示控制的第二次信息来依次生成二维图像并发送到用户终端。
根据本发明,能够通过输入部的交互式操作来实现高速且忽略少的解读。
附图说明
图1表示实施例1的图像处理系统的结构。
图2是表示显示控制信息的计算处理的一例的流程图。
图3表示根据输入计算输入速度的过程的例子。
图4表示拍摄对象体的坐标系。
图5表示实施例2的对截面位置设定了关注度的关注度设定表。
图6表示设定了输入时刻与显示时刻的时间间隔的时间间隔设定表。
图7表示横穿关注区域时的关注度与从输入至显示为止的时间间隔之间的关系。
图8表示对从输入至显示为止的时间间隔进行变更时的表示二维图像显示定时的影像(Image)。
图9表示实施例3的对于关注区域的关注度、输入速度以及表示其履历的变化标志,设定了截面间隔的截面间隔设定表。
图10是使用三维坐标系来说明实施例4的体数据的三维可视化图像生成时的视点角度与视点位置。
图11表示对三维可视化图像生成时的视点角度设定了关注度的关注度设定表。
图12表示对体数据的三维位置设定了关注度的关注度设定表。
具体实施方式
以下,使用附图来说明四个实施例。
实施例1
在本实施例中,说明根据显示控制的第一次信息来决定显示控制的第二次信息的图像处理装置的例子。在此,显示控制的第一次信息例如是指使二维图像进行滚动对解读过程中的鼠标滚轮的旋转进行检测的脉冲的输入信号的速度,是成为计算显示控制的第二次信息的基础的中间生成的信息,在此,该显示控制用于最终在显示部或在显示装置中显示二维图像,在后文中详细说明。
另外,显示控制的第二次信息例如是指从输入信号的输入时刻至二维图像显示时刻为止的时间间隔(显示延迟时间),在后文中详细说明。
图1是本实施例的图像处理系统的结构图。如图1所示,本系统由以下构成:图像处理装置100,其对三维图像进行图像处理而生成二维图像;图像数据存储服务器200,其存储使用X射线CT装置或MRI装置等拍摄并重建的三维图像、关注区域的位置等关注区域信息;用户终端300,其具备向图像处理装置100输入处理请求的输入部320和进行图像数据的显示的图像显示部310;以及将它们连接起来的网络400。
图像处理装置100具备:输入接收部10,其从用户终端300接收开始信号以及例如与用户终端300的输入部320中的鼠标的移动、滚轮旋转的操作相伴随的输入信号;显示控制的第一次信息的计算部20,其计算显示控制的第一次信息;显示控制的第二次信息的计算部30,其计算显示控制的第二次信息;图像生成发送部40,其生成二维图像并发送到用户终端300的图像显示部310;输入存储部50,其存储来自输入接收部10的输入信号;以及显示控制信息存储部60,其存储显示控制的第一次信息和显示控制的第二次信息。
在此,显示控制的第一次信息的计算部20根据从输入接收部10得到的输入信号来计算例如输入速度那样的显示控制的第一次信息。另外,显示控制的第二次信息的计算部30根据从显示控制的第一次信息的计算部20得到的显示控制的第一次信息以及从图像数据存储服务器200得到的三维图像以及关注区域的信息,例如计算显示速度那样的显示控制的第二次信息。
接着,使用图2来说明根据显示控制的第一次信息来决定显示控制的第二次信息时的处理流程。
首先,图像处理装置100的输入接收部10接收开始信号来作为来自用户终端300的输入部320的输入(S101),开始进行图像处理。输入接收部10确认有无来自用户终端300的输入部320的输入(S102),在没有输入的情况下,结束处理(S103)。
在有输入的情况下,通过显示控制的第一次信息的计算部20,根据从输入接收部10得到的当前的输入以及从输入存储部50得到的输入履历来计算例如输入速度那样的显示控制的第一次信息(S104),将当前的输入的信息保存到输入存储部50中(S105)。
接着,通过显示控制的第二次信息的计算部30,根据从显示控制的第一次信息的计算部20得到的显示控制的第一次信息、从图像数据存储服务器200得到的体数据(三维医用图像)的信息和关注区域的信息、以及从显示控制信息存储部60得到的包含二维截面图像的截面位置的显示控制的第二次信息的履历,来计算包含显示速度的显示控制的第二次信息(S106),在显示控制信息存储部60中保存当前的显示控制的第一次信息和显示控制的第二次信息(S107)。
最后,通过图像生成发送部40,使用从显示控制的第二次信息的计算部30得到的二维截面图像的截面位置、包含显示速度的显示控制的第二次信息,从在图像数据存储服务器200中存储的三维图像或多个二维图像中生成或获取显示图像,将根据决定的显示速度来显示的二维图像发送到用户终端300的图像显示部310(S108)之后,返回到S102而反复进行同样的处理。
另外,无需在S108结束之前来等待执行第二次及其以后的S102,如果S105结束,则可以从S102起开始下一个流程。在此,说明作为连续输入,输入接收部10接收与连续的二维图像的画面滚动操作相伴的输入。
为了说明连续输入,考虑输入接收部10按i[0]、i[1]、i[2]、···的顺序接收了多个输入的情况。在此,设为输入i[0]、i[1]、i[2]、···从相同的用户终端的输入部输入,仅输入时刻不同。在此,在i[0]与i[1]的输入时刻差、i[1]与i[2]的输入时刻差小于d_th的状态持续的情况下,判断为i[0]、i[1]、i[2]、···为连续输入,如果输入接收部10接收到的输入的输入时刻是从紧前接收到的输入的输入时刻开始经过了d_th以上的时刻,则判断为连续输入结束。
在此,当假设例如通过用户终端300的输入部320而使用鼠标使滚轮旋转或在画面上进行光标移动的情况,或者使用触摸面板而通过手指进行描绘等来进行操作的情况时,由于滚轮的直径或触摸面板、显示器的画面大小存在限制并且输入分辨率存在限度,因此即使在连续进行输入的情况下,连续输入也会以一定间隔中断。即使在这种情况下,在上述例子中通过将d_th设定得大能够应对输入的中断。
在此,说明在作为连续输入接收到输入的情况下,在S104中计算显示控制的第一次信息的例子。通常,追随鼠标的滚轮旋转等输入来进行二维图像显示,因此关于连续输入的速度,能够认为与用户在操作时间点所期望的图像显示速度等价。在此,使用输入的输入时刻,作为显示控制输入的第一次信息为连续输入的速度来进行说明。例如在某个时间点的输入i[n]的输入时刻为t[n]的情况下,通过显示控制的第一次信息的计算部20使用其紧前的输入i[n-1]的输入时刻t[n-1]来计算输入速度v[n]=1/(t[n]-t[n-1]),作为与i[n]对应的显示控制的第一次信息来进行输出。
接着,使用图3说明输入接收部10接收间歇性的连续输入时的例子。图3表示了与输入i[0]、i[1]、···对应的输入时刻t[0]、t[1]、···与输入速度之间的关联。在此,将输入速度v[1]、v[2]、···分别计算为v[1]=1/(t[1]-t[0])、v[2]=1/(t[2]-t[1])、···。
间歇性的连续输入例如是指假设以i[1]~i[4]那样的各输入的输入速度v[1]~v[4]的值大并且这些输入速度的偏差小的连续的输入以及如i[5]那样输入速度v[5]某种程度变小并且使连续输入中断后的输入这样的顺序重复进行输入的输入。在此,将i[1]~i[4]那样连续的输入的数量称为连续输入数ni,将t[0]~t[4]那样连续输入持续期间的速度称为连续输入速度vc,将v[5]那样输入中断期间的速度称为空白速度vb。在此,计算为vc[1]=1/(t[4]-t[0])、vb[1]=v[5]。
在这种情况下,通过显示控制的第一次信息的计算部20,能够将连续输入速度vc、空白速度vb或连续输入数ni分别作为显示控制的第一次信息而使用。另外,作为在显示控制的第一次信息的计算部20的计算中使用的信息,不一定必须是用户终端300的输入部320中的各输入的输入时刻,例如还能够设为输入接收部中的输入的接收时刻、每单位时间的输入数。在使用每单位时间的输入数的情况下,以预先决定的恒定的时间间隔来执行S104。作为在S104中计算出的显示控制的第一次信息,成为每单位时间的输入数。
在此,在图4中表示了在以后的实施例中使用的三维坐标的坐标系。关于在实施例中使用的体数据,假设为拍摄人体得到的体数据,因此根据拍摄的人体来设定各轴。在此,在被检测者将手臂垂直落下而朝向前方直立的状态下,将从右手向左手的方向设为X轴,将从前方向后方的方向设为Y轴,将从脚向头的方向设为Z轴。
实施例2
作为通过显示控制的第二次信息的计算部30来计算的显示控制的第二次信息,除了显示二维截面图像或三维可视化图像时的显示速度以外,还可举出从体数据生成二维截面图像时的截面的位置、生成三维可视化图像时的视点位置以及该情况下的三维重建分辨率等。
在本实施例中,作为在图像生成发送部40中生成的二维图像,在设为通过与某个轴正交,并且在该轴上连续且平行的多个平面切断了体数据时的连续截面图的情况下,作为根据显示控制的第一次信息而决定的显示控制的第二次信息的一例,选用输入的输入时刻和二维图像的显示时刻的时间间隔(显示延迟时间),以下说明决定这些的方法。
在此,连续截面是与Z轴正交的平面,将其Z坐标设为s_0、s_1、···s_e。在此,s_0和s_e表示从三维体数据生成的连续的二维截面图像两端的截面位置。另外,关于各平面的间隔,设为恒定的值dis。将二维截面图像设为影像[s_0]~影像[s_e],以针对各截面位置对应一个图像的方式预先进行重建并存储到图像数据存储服务器200中。
另外,在图像数据存储服务器200中,作为关注区域信息,预先存储了针对截面位置唯一地决定关注度的信息。在此,作为其一例,图5表示关注度设定表。在图5中表示了d_b为大于d_a的值,即在截面位置s_r0与截面位置s_r1之间包含关注区域的情况。
另外,在此设为显示控制的一个第一次信息为根据输入的信息计算出的输入速度v,显示控制的第二次信息的计算部30使用变化标志f来作为显示控制的一个第一次信息。变化标志f表示显示控制的第一次信息的变化履历,在此当正在具有同一关注度的关注区域内进行显示的期间,对输入速度v低于阈值v_th的次数进行计数。在此,阈值v_th为用于检测输入速度的变化的阈值。因此,根据到目前为止的输入速度来决定v_th,例如将紧前的输入速度设为v_th,或者将直到紧前的输入速度的平均设为v_th。
显示控制信息存储部60预先保存了根据关注度、作为显示控制的第一次信息的输入速度v以及变化标志f来唯一地决定输入时刻和显示时刻的时间间隔的信息。图6表示作为该信息一例的时间间隔设定表。在图6中表示了ti_a为非常小的值,与ti_a相比将ti_b设为能够视觉识别由于其不同而引起的显示速度的差异的程度的大的值。
图6表示在关注度为d_b,输入速度v为v_th以上且f小于f_th的情况下,输入时刻与输出时刻的间隔大成为ti_b,在为除此以外的组合时输入时刻与输出时刻的间隔变小。但是,在变化标志f为预先决定的阈值f_th以上时,即在该关注区域内输入速度v小于v_th的次数为f_th以上的情况下,无论在图6的哪个情况下,时间间隔均减小为恒定的值ti_a。
说明具体的处理流程。首先,设为在用户终端300的图像显示部310中正在显示图像即影像[s[n]],输入接收部10接收到连续输入之一的i[n+1]的状态。设为在该时间点作为与目前接收到的输入i[0]、···i[n]对应的信息,在输入存储部50中存储了时刻t[0]、···t[n],并且作为与紧前的输入i[n]对应的显示控制的第二次信息,在显示控制信息存储部60中存储了显示二维图像的截面位置s[n]、时间间隔ti[n]。
输入接收部10从用户终端300的输入部320接收当前的输入的输入时刻t[n+1],并且在输入存储部50中存储t[n+1]。接着,显示控制的第一次信息的计算部20计算根据t[n+1]和紧前的输入时刻t[n]而计算的输入速度v[n+1]=1/(t[n+1]-t[n]),并将其存储到显示控制信息存储部60中。显示控制的第二次信息的计算部30根据从显示控制信息存储部60得到的当前的输入速度v[n+1]和履历以及从图像数据存储服务器200得到的关注区域信息来决定时间间隔ti[n+1]。
在此,以下说明显示控制的第二次信息的计算部30决定时间间隔ti[n+1]的算法的一例。首先,从显示控制信息存储部60获取紧前的截面位置s[n],求出下一个截面位置s[n+1]。在此,设为截面间隔为恒定的值dis,成为s[n+1]=s[n]+dis。
显示控制的第二次信息的计算部30参照图5所示那样的关注度设定表,求出与截面位置s[n+1]对应的关注度d[n+1]。此时在d[n+1]是与对应于截面位置s[n]的关注度d[n]不同的值的情况下,将变化标志f初始化为0。
接着,显示控制的第二次信息的计算部30参照图6所示那样的时间间隔设定表,根据变化标志f、关注度d[n+1]以及输入速度v[n+1]来求出在此的时间间隔ti[n+1],在显示控制信息存储部60中存储当前的截面位置s[n+1]。此时,在输入速度v[n+1]低于v_th的情况下,将变化标志f设为f+1。
图像生成发送部40从图像数据存储服务器200中获取相当于截面位置s[n+1]的二维图像即影像[s[n+1]]并将其发送到用户终端300,在从输入时刻起经过时间间隔ti[n+1]之后将二维图像即影像[s[n+1]]在输入部320进行显示。
在此,说明通过将时间间隔从ti_a自动地变更为ti_b来提示关注区域,从而实现交互式操作的状况。作为例子,说明如下情况:具有输入i[0]~i[5]这样的连续的控制信号的输入,并具有与各控制信号对应的截面位置s[0]~s[5]。在此,设为s[0]、s[1]小于s_r0,s[5]大于s_r1,s[2]、s[3]、s[4]为s_r0以上且小于s_r1的情况,即s[2]~s[4]在关注区域内而,s[0]、s[1]、s[5]在关注区域外。
图7表示了在该情况下,即输入速度v[0]~v[2]为v_th以上、v[3]小于v_th,此外,变化标志阈值f_th为1时的参数变化的例子。另外,图8表示了与参数的变化对应的图像显示定时的影像。
首先,从输入i[0]到i[1],显示了在此的关注程度为d_a即关注程度低的区域,因此输入时刻与输出时刻的时间差ti成为ti_a这样的极小的值,以追随连续输入的形式进行显示。在此考虑截面位置闯入到关注区域的情况。在此,将阈值v_th设为比阅览关注区域以外时的输入速度的平均值稍小的值(例如阅览关注区域外时的输入速度平均值的九成左右的值)。在i[2]的时间点以与i[0]、i[1]相同程度的输入速度进行了输入的情况下,输入速度v[2]成为v_th以上,因此输入时刻与输出时刻的时间差ti大成为ti_b,对于连续输入的追随性自动降低。由此,能够促使用户注意闯入关注区域的情况。
在此,在输入i[3]的时间点用户减慢了输入速度的情况下,输入速度v[3]小于v_th,时间间隔从ti_b返回至ti_a,返回至通常的追随性。在此,如上所述v[2]超过v_th而变化标志f变为1与f_th相等,因此在下一次显示关注区域将变化标志f初始化为0之前,追随性不会降低。这表示由于针对连续输入的追随的降低,用户注意到当前的显示二维图像的截面位置位于关注区域内,减慢对连续二维图像的显示定时进行控制的操作,ti从ti_b减小到ti_a,因此能够再次进行追随性高的滚动显示。
另外,在此说明在临床的医生为了缩短解读时间并且为了降低漏检,一边参照由CAD系统设定的关注区域一边进行解读的状况下,使用了本技术的情况。
通过CAD等设定的关注区域信息并非必须限定为不多不少且用户所需的信息。即,在使用用于检测上述疾病可疑区域的功能的情况下,根据其检测精度,也有可能疾病区域的检测失败或检测出在临床上不被当作疾病区域的区域。作为检测出在临床上不被当作疾病区域的区域的具体例子,例如存在将过去进行了处置的治疗痕迹、产生未发展到疾病的炎症的区域检测为疾病可疑部位的情况等。
在此,设为以下情况:作为用户终端300的输入部320假设鼠标,通过使其滚轮转动来进行滚动,依次阅览从三维图像生成的连续的二维图像,由此进行解读。
当使用本发明的技术时,在显示二维图像临近自动检测出的疾病区域的时间点,针对滚动操作的追随自动降低,不在其它区域内显示缩略图像等,能够仅在二维图像显示区域内提示临近自动检测区域。因此,在医生注意到显示了自动检测区域时,使滚动的操作速度成为比到目前为止慢的速度,由此能够使针对滚动操作的追随性复原。
在医生注意到临近自动检测区域时,以后不需要通过系统来进行自动提示。作为医生视觉确认自动检测区域的结果,在不是疾病可疑部位的情况下,要求高速显示,在是疾病可疑部位的情况下要求低速显示,该操作能够通过追随医生的滚动操作速度来实现。
因此,可通过滚动操作速度的变更来判断医生注意到临近自动检测区域的情况,通过使滚动操作速度的追随性复原,能够进行无压力的高速解读。
实施例3
在本实施例中,说明在图1所示的图像处理系统的结构以及图2所示的流程中,对根据显示控制的第一次信息决定的显示控制的第二次信息中的、从体数据来重建的二维截面图像的截面间隔进行变更的情况。另外,在此也与实施例2同样地,作为显示控制的第一次信息而使用根据输入的信息计算出的输入速度v,显示控制的第二次信息的计算部30当正在具有同一关注度的关注区域内进行显示的期间,还保存有对输入速度v低于阈值v_th的次数进行计数的变化标志f,来作为显示控制的第一次信息之一。
在此,设为显示控制信息存储部60预先保持有根据关注度、输入速度以及变化标志来唯一地决定截面间隔的信息。作为该信息的一例,图9表示了截面间隔设定表。
以下,说明具体的处理流程。在用户终端300的图像显示部310中正在显示图像即影像[s[n]],从判断为输入接收部10接收到连续输入的状态开始。设为在该时间点作为紧前的信息在输入存储部50中存储有输入时刻t[0]、···t[n],在显示控制信息存储部60中存储有截面位置s[n]、变化标志f=0的状态。
输入接收部10将从用户终端300的输入部320输入的输入的输入时刻t[n+1]存储在输入存储部50中。显示控制的第一次信息的计算部20计算输入速度v[n+1],并将其存储到显示控制信息存储部60。显示控制的第二次信息的计算部30根据从显示控制信息存储部60得到的当前的输入速度v[n+1]、从图像数据存储服务器200得到的关注区域信息以及从显示控制信息存储部60得到的紧前的二维显示图像的截面位置s[n]以及变化标志f,来决定截面位置s[n+1]。
在此,说明显示控制的第二次信息的计算部30决定截面位置s[n+1]的算法的一例。
首先,从显示控制信息存储部60获取紧前的截面位置s[n],使用预先决定的最小截面间隔gm来求出s[n]+gm。在图像数据存储服务器200中作为关注区域信息,预先存储有针对截面位置唯一地决定关注度的信息。参照作为一例而表示的图6所示的关注度设定表,在显示控制的第二次信息的计算部30的计算中,将与截面位置s[n]+gm对应的关注度设为d[n+1]。
接着,显示控制的第二次信息的计算部30参照在图像数据存储服务器200中存储的截面间隔设定表(图9),根据关注度d[n+1]和输入速度v[n+1]来决定截面间隔g[n+1],设为s[n+1]=s[n]+g[n+1]。在此,再次参照图5的关注度设定表,求出与s[n+1]对应的关注度d[n+1]。
在此,在d[n+1]是与对应于截面位置s[n]的关注度d[n]不同的值的情况下,将变化标志f初始化为0。在d[n+1]与d[n]相同,并且输入速度v[n+1]低于v_th的情况下,将变化标志f设为f+1。
图像生成发送部40根据在图像数据存储服务器200中存储的体数据来生成相当于截面位置s[n+1]的二维图像即影像[n+1],并将其发送到用户终端300,在从输入时刻t[n+1]开始经过时间间隔ti之后在图像显示部310显示影像[s[n+1]],并且在显示控制信息存储部60中存储当前的截面位置s[n+1]。
例如在s[n]小于s_r0,s[n]+gm为s_r0以上且小于s_r1的情况下,根据图5,s[n+1]中的关注度成为d_b,s[n]中的关注度为d_a。因此,当考虑d_b>d_a时,当从s[n]到达s[n+1]时,关注度从d_a升高到d_b,当考虑f为0且v成为v_th以上时,根据图9,截面间隔从g_a变更为g_b。在此,例如在将g_b设为比g_a小的值时,关于关注度高的部分即s[n+1],显示截面间隔更窄的二维图像,即截面之间的分辨率高的二维截面图像,能够促使用户引起注意。
实施例4
在本实施例中,说明在实施例1所示的结构和流程中,图像生成发送部40生成三维可视化图像时的例子。
三维可视化图像是指假设通过体数据内的多个平行的光线,沿着该光线遵照某个规律对体素值进行处理而生成的二维图像。作为生成三维可视化图像的方法中的具有代表性的方法,存在观察体数据的体素中的具有一定阈值以上的亮度的体素群的表面的面绘制(surface rendering)、根据体数据内的体素的亮度值来设定不透明度,沿着光线来重叠该值由此还表现物体内部的体绘制(volume rendering)、在存在于光线上的体素仅描绘最大亮度的MIP等。
在此,说明根据视点角度来设定关注度信息的情况。以下,使用图10来说明视点角度。
首先,设定某个初始点p_0(x_p0、y_p0、z_p0)。在将体数据的中心设为v_c(x_pc、y_pc、z_pc)的情况下,经过v_c且与Z轴垂直的平面即平面_c将与Z轴相交的点设为p_c。p_c能够表示为三维坐标(x_p0、y_p0、z_pc)。使连结p_c与体数据的中心v_c的线段l_0以v_c为中心在平面_c上进行旋转而形成圆,将圆周上的各点p_q设为体绘制生成时的视点位置。此时,将连结p_q与v_c的线段l_q与线段l_0所形成的角度设为视点角度a_q。
图11表示根据视点角度a_q来设定关注度时的关注度设定表的例子。在该情况下,在图像数据存储服务器200中保存的二维图像或者由图像生成发送部40生成的二维图像成为从a_q=0~2π时的各视点位置p_q观察到的三维可视化图像即影像[p_0]~影像[p_2π]。
作为在将三维可视化图像设为输出时二维图像的情况下的、根据显示控制的第一次信息而决定的显示控制的第二次信息的例子,与实施例1同样地,能够使用对重建的三维可视化图像进行显示时的输入时刻与显示时刻的时间间隔、视点角度或重建三维可视化图像时的光线密度、光线上的采样间隔等。显示的三维可视化图像即影像[p_0]~影像[p_2π]既可以如在此说明那样预先生成,并保存在图像数据存储服务器200中,也可以在图像生成发送部40中每次生成。
在到此为止的实施例中,作为表示关注区域的信息,举例说明了图5所示的对二维图像截面位置唯一地决定关注度那样的关注度设定表,但是作为表示关注区域的信息并不仅限于此,例如还能够针对三维位置设定关注度。作为其一例,图12表示了关注度设定表。在图12的例子中,表示了存在三个关注区域,三维坐标(x_r0、y_r0、z_r0)、(x_r1、y_r1、z_r1)、(x_r2、y_r2、z_r2)分别表示各关注区域的中心位置,r_r0、r_r1、r_r2表示各关注区域的半径。
在此,表示了使关注区域为球形,关于根据这些中心和半径来表示的三个球的内部区域,关注度分别为d_0、d_1、d_2,关于三个球的外部区域,关注度为d_3。
此外,本发明并不限于上述实施例,包含各种变形例。例如,上述实施例是为了更容易理解本发明而详细地说明的例子,并不限于必须具备说明的全部结构。另外,能够将某个实施例的结构的一部分替换为其它实施例的结构,并且还能够对某个实施例的结构添加其它实施例的结构。另外,能够对各实施例的一部分结构进行其它结构的追加、删除、替换。
在实施例1中,图像数据存储服务器200构成为设置在图像处理装置100的外部,但是既可以构成为将图像数据存储服务器200中存储的数据存储到图像处理装置100的内部存储装置中,也可以与图像处理装置100的存储部中存储的数据一起构成图像处理装置100的存储部。
另外,用户终端300构成为经由网络400与图像处理装置100连接,但是也可以构成为与图像处理装置100直接连接。
附图标记说明
10:输入接收部;20:显示控制的第一次信息的计算部;30:显示控制的第二次信息的计算部;40:图像生成发送部;50:输入存储部;60:显示控制信息存储部;100:图像处理装置;200:图像数据存储服务器;300:用户终端。
Claims (12)
1.一种图像处理装置,其特征在于,具备:
存储部,其存储与三维图像有关的图像数据库;
输入接收部,其接收与用户终端的操作相伴的输入信号;
显示控制的第一次信息的计算部,其计算包含接收到的上述输入信号的速度的显示控制的第一次信息;
显示控制的第二次信息的计算部,其根据判断为在上述三维图像中包含疾病的可疑性高的关注区域的信息以及计算出的上述显示控制的第一次信息,判断操作上述用户终端的用户针对上述关注区域的关注度,计算包含从上述三维图像生成的二维图像的显示速度的显示控制的第二次信息;以及
图像生成发送部,其根据计算出的上述显示控制的第二次信息来依次生成上述二维图像并发送到上述用户终端。
2.根据权利要求1所述的图像处理装置,其特征在于,
将上述关注区域的信息预先存储在上述存储部中,
上述关注区域的信息包含关注度,该关注度表示在相当于上述关注区域的被拍摄区域内包含疾病的可疑性的高度。
3.根据权利要求1所述的图像处理装置,其特征在于,
上述显示控制的第一次信息包含表示来自上述用户终端的连续的输入信号的间隔的信息。
4.根据权利要求3所述的图像处理装置,其特征在于,
上述显示控制的第一次信息中的表示来自上述用户终端的连续的输入信号的间隔的信息包含表示在上述输入信号的间隔小于预定时间且连续预定数以上的连续输入中,与该连续输入的累计时间有关的从紧前的输入到当前的输入为止的时间长度的信息。
5.根据权利要求1所述的图像处理装置,其特征在于,
上述显示控制的第一次信息包含每个单位时间的输入数。
6.根据权利要求1所述的图像处理装置,其特征在于,
上述显示控制的第二次信息包含从上述输入信号的输入时刻至上述二维图像的显示时刻为止的时间间隔。
7.根据权利要求1所述的图像处理装置,其特征在于,
上述图像生成发送部发送给上述用户终端的上述二维图像为二维截面图像,该二维截面图像表示通过某个平面将成为生成上述二维图像的基础的上述三维图像切断时的截面,
上述显示控制的第二次信息包含决定上述平面的三维上的位置的截面的位置信息。
8.根据权利要求1所述的图像处理装置,其特征在于,
在上述图像生成发送部中发送给上述用户终端的上述二维图像为三维可视化图像,该三维可视化图像将从某个视点三维地观察成为生成上述二维图像的基础的上述三维图像的状态进行再现使其可视化,
上述显示控制的第二次信息包含生成上述三维可视化图像时的上述视点的位置信息或生成上述三维可视化图像时的分辨率的信息。
9.根据权利要求3所述的图像处理装置,其特征在于,
上述显示控制的第一次信息包含上述连续的输入信号的时间间隔的倒数即输入速度。
10.根据权利要求1所述的图像处理装置,其特征在于,
上述显示控制的第一次信息为连续的输入信号的时间间隔的倒数即输入速度,
上述存储部还存储:
上述显示控制的第一次信息;
上述显示控制的第二次信息;
上述关注区域的信息;以及
表,其记载了将上述关注区域的关注度大与小的二值、上述输入速度为第一阈值以上还是小于第一阈值的二值以及表示上述输入速度低于该第一阈值的次数的变化标志为第二阈值以上还是小于第二阈值的二值作为各参数的输入时刻与显示时刻的时间间隔,并根据各参数的组合具有大与小这二值中的某一值,
该表记载为仅在上述关注度大、上述输入速度为上述第一阈值以上、上述变化标志小于上述第二阈值的情况下上述输入时刻与显示时刻的时间间隔成为大的值,
当用户从上述关注区域外开始进行解读,上述关注度小、上述输入速度为上述第一阈值以上、上述变化标志小于上述第二阈值的情况下,上述输入时刻与显示时刻的时间间隔变小,
在即使闯入上述关注区域用户也不降低解读速度的情况下,变得上述关注度大,上述输入速度为上述第一阈值以上,上述变化标志小于上述第二阈值,上述时间间隔变大上述二维图像的显示速度变慢。
11.一种图像处理系统,其具备图像处理装置以及与上述图像处理装置连接的用户终端,其特征在于,
上述图像处理装置具备:
存储部,其存储与三维图像有关的图像数据库;
输入接收部,其接收与上述用户终端的操作相伴的输入信号;
显示控制的第一次信息的计算部,其计算包含接收到的上述输入信号的速度的显示控制的第一次信息;
显示控制的第二次信息的计算部,其根据判断为在上述三维图像中包含疾病的可疑性高的关注区域的信息以及计算出的上述显示控制的第一次信息,判断操作上述用户终端的用户针对上述关注区域的关注度,计算包含从上述三维图像生成的二维图像的显示速度的显示控制的第二次信息;以及
图像生成发送部,其根据计算出的上述显示控制的第二次信息来依次生成上述二维图像并发送到上述用户终端。
12.一种图像处理方法,其从三维图像生成二维图像并进行显示,其特征在于,包括:
从输入部接收与包含上述二维图像的显示控制输入的速度的显示控制的第一次信息相关联的输入信号的步骤;
从该输入部接收与输入设备的操作相伴的输入信号的输入步骤;
计算包含接收到的该输入信号的速度的显示控制的第一次信息的步骤;
根据判断为在上述三维图像中包含疾病的可疑性高的关注区域的信息以及计算出的上述显示控制的第一次信息来判断操作上述用户终端的用户针对上述关注区域的关注度,计算包含从上述三维图像生成的上述二维图像的显示速度的显示控制的第二次信息的步骤;以及
根据该计算出的上述显示控制的第二次信息来依次生成上述二维图像并在显示部进行显示的图像生成显示步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-131587 | 2014-06-26 | ||
JP2014131587 | 2014-06-26 | ||
PCT/JP2015/066338 WO2015198835A1 (ja) | 2014-06-26 | 2015-06-05 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106456097A CN106456097A (zh) | 2017-02-22 |
CN106456097B true CN106456097B (zh) | 2019-10-01 |
Family
ID=54937931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580034174.2A Active CN106456097B (zh) | 2014-06-26 | 2015-06-05 | 图像处理装置、图像处理方法以及图像处理系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10242489B2 (zh) |
JP (1) | JP6359655B2 (zh) |
CN (1) | CN106456097B (zh) |
WO (1) | WO2015198835A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101898580B1 (ko) * | 2018-01-22 | 2018-09-13 | 주식회사 뷰노 | 영상의 열람을 지원하는 방법 및 이를 이용한 장치 |
EP4339900A2 (en) | 2018-07-27 | 2024-03-20 | FUJI-FILM Corporation | Medical image processing apparatus, endoscope system, and method of operating medical image processing apparatus |
US11194461B2 (en) * | 2019-01-15 | 2021-12-07 | Fujifilm Medical Systems U.S.A., Inc. | Smooth image scrolling with dynamic scroll extension |
JP2022535699A (ja) * | 2019-05-20 | 2022-08-10 | ピルキントン グループ リミテッド | コーティングされたガラス物品の放射率を低減する方法 |
KR102108418B1 (ko) | 2019-08-13 | 2020-05-07 | 주식회사 뷰노 | 재구성된 영상군에 기초한 영상 제공 방법 및 이를 이용한 장치 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08166995A (ja) * | 1994-12-13 | 1996-06-25 | Toshiba Corp | 医用診断支援システム |
JP2000000235A (ja) * | 1998-06-17 | 2000-01-07 | Nippon Telegr & Teleph Corp <Ntt> | 医療画像表示制御方法及びその表示制御装置及びその表示制御プログラムを記録した記録媒体 |
JP2000262517A (ja) * | 1999-03-12 | 2000-09-26 | Toshiba Corp | 画像表示装置及びx線コンピュータ断層撮影装置 |
CN1775171A (zh) * | 2004-08-30 | 2006-05-24 | 株式会社东芝 | 医用图像显示装置 |
JP2006149524A (ja) * | 2004-11-26 | 2006-06-15 | Hitachi Medical Corp | 画像表示システム、画像表示方法及び画像表示プログラム |
CN101076724A (zh) * | 2004-04-14 | 2007-11-21 | 美国医软科技公司 | 肝病诊断系统,方法和图形用户界面 |
CN101739998A (zh) * | 2008-11-13 | 2010-06-16 | 株式会社东芝 | 图像显示装置和图像显示方法 |
JP2013085622A (ja) * | 2011-10-14 | 2013-05-13 | Toshiba Corp | 医用画像診断装置、医用画像表示装置及び制御プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2898654B2 (ja) * | 1989-04-07 | 1999-06-02 | 株式会社日立メデイコ | 医用画像の表示装置 |
JP2002301065A (ja) * | 2001-04-04 | 2002-10-15 | Nemoto Kyorindo:Kk | 医療用断層画像表示装置 |
JP2004173910A (ja) * | 2002-11-27 | 2004-06-24 | Fuji Photo Film Co Ltd | 画像表示装置 |
US20040106869A1 (en) * | 2002-11-29 | 2004-06-03 | Ron-Tech Medical Ltd. | Ultrasound tracking device, system and method for intrabody guiding procedures |
US7301538B2 (en) * | 2003-08-18 | 2007-11-27 | Fovia, Inc. | Method and system for adaptive direct volume rendering |
JP4208791B2 (ja) * | 2004-08-11 | 2009-01-14 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
US8570359B2 (en) * | 2008-08-04 | 2013-10-29 | Microsoft Corporation | Video region of interest features |
JP2012016488A (ja) * | 2010-07-08 | 2012-01-26 | Toshiba Corp | 医用画像表示装置 |
EP2630634A1 (en) * | 2010-10-19 | 2013-08-28 | Koninklijke Philips Electronics N.V. | Medical image system |
JP2014033948A (ja) * | 2012-08-10 | 2014-02-24 | Canon Inc | 表示制御装置、表示装置、及びその制御方法 |
US20150164450A1 (en) * | 2013-12-18 | 2015-06-18 | Siemens Medical Solutions Usa, Inc. | System and Method for Real Time 4D Quantification |
-
2015
- 2015-06-05 WO PCT/JP2015/066338 patent/WO2015198835A1/ja active Application Filing
- 2015-06-05 CN CN201580034174.2A patent/CN106456097B/zh active Active
- 2015-06-05 JP JP2016529240A patent/JP6359655B2/ja active Active
- 2015-06-05 US US15/316,548 patent/US10242489B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08166995A (ja) * | 1994-12-13 | 1996-06-25 | Toshiba Corp | 医用診断支援システム |
JP2000000235A (ja) * | 1998-06-17 | 2000-01-07 | Nippon Telegr & Teleph Corp <Ntt> | 医療画像表示制御方法及びその表示制御装置及びその表示制御プログラムを記録した記録媒体 |
JP2000262517A (ja) * | 1999-03-12 | 2000-09-26 | Toshiba Corp | 画像表示装置及びx線コンピュータ断層撮影装置 |
CN101076724A (zh) * | 2004-04-14 | 2007-11-21 | 美国医软科技公司 | 肝病诊断系统,方法和图形用户界面 |
CN1775171A (zh) * | 2004-08-30 | 2006-05-24 | 株式会社东芝 | 医用图像显示装置 |
JP2006149524A (ja) * | 2004-11-26 | 2006-06-15 | Hitachi Medical Corp | 画像表示システム、画像表示方法及び画像表示プログラム |
CN101739998A (zh) * | 2008-11-13 | 2010-06-16 | 株式会社东芝 | 图像显示装置和图像显示方法 |
JP2013085622A (ja) * | 2011-10-14 | 2013-05-13 | Toshiba Corp | 医用画像診断装置、医用画像表示装置及び制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN106456097A (zh) | 2017-02-22 |
US20170243391A1 (en) | 2017-08-24 |
WO2015198835A1 (ja) | 2015-12-30 |
JP6359655B2 (ja) | 2018-07-18 |
US10242489B2 (en) | 2019-03-26 |
JPWO2015198835A1 (ja) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106456097B (zh) | 图像处理装置、图像处理方法以及图像处理系统 | |
CN101116110B (zh) | 医学图像浏览协议 | |
US7620225B2 (en) | Method for simple geometric visualization of tubular anatomical structures | |
US8687863B2 (en) | Image processing apparatus, control method thereof and computer program | |
CN101961245B (zh) | 在采集的放射线照相术图像中补偿呼吸运动的系统和方法 | |
CA2776186C (en) | Image display of a centerline of tubular structure | |
CN102949199A (zh) | 医用图像显示装置以及x 射线诊断装置 | |
CN109830289A (zh) | 肋骨图像显示装置 | |
US9972083B2 (en) | Detection of tooth fractures in CBCT image | |
US20150379780A1 (en) | Image display to display 3d image and sectional images | |
CN112740285A (zh) | 在虚拟环境中对医学图像的叠加和操纵 | |
CN103941855A (zh) | 医用图像参照装置以及医用图像参照方法 | |
Bornik et al. | A hybrid user interface for manipulation of volumetric medical data | |
US9615806B2 (en) | Method and apparatus for creation and display of artifact-corrected three dimentional (3D) volumetric data from biplane fluoroscopic image acquisition | |
JP2015515296A (ja) | 対象物の画像情報の提供 | |
US20160171158A1 (en) | Medical imaging apparatus and method using comparison image | |
US10973485B1 (en) | Enhanced volume viewing | |
CN103491877B (zh) | 医用图像显示装置、医用图像显示方法 | |
US20140055448A1 (en) | 3D Image Navigation Method | |
CN106725851A (zh) | 用于外科器械重建的图像采集的系统和方法 | |
US20090290769A1 (en) | Medical image processing method | |
Seo et al. | Semiautomatic segmentation of nasal airway based on collaborative environment | |
JP2008067915A (ja) | 医用画像表示装置 | |
US11443497B2 (en) | Medical image processing apparatus, medical image processing system, medical image processing method, and recording medium | |
CN112822983B (zh) | 用于编辑全景射线照相图像的设备和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211123 Address after: Chiba County, Japan Patentee after: Fujifilm medical health Co.,Ltd. Address before: Tokyo, Japan Patentee before: Hitachi, Ltd. |
|
TR01 | Transfer of patent right |