CN112438743B - 放射线图像处理系统和图像处理方法 - Google Patents

Abstract

本发明提供放射线图像处理系统和图像处理方法，即使在跨过光圈边界的被摄体的影像变化的情况下，也生成被摄体的变形等噪声少的插补图像。是对通过经由光圈间歇地向被摄体照射放射线而得到的图像进行处理的放射线图像处理系统，具备：运动信息推定部，其使用时序上连续的第一图像和第二图像，计算与第一图像中包含的多个像素分别对应的用于推定被摄体的运动的推定值，生成由各像素的推定值构成的运动信息；运动信息修正部，其根据第一图像和第二图像中分别包含的光圈边界，确定由需要修正运动信息的值的像素构成的修正区域，修正运动信息的修正区域的推定值；帧插补部，其根据修正后的运动信息，生成插入到第一图像和第二图像之间的插补图像。

Description

放射线图像处理系统和图像处理方法

技术领域

本发明涉及对使放射线透过被摄体而得到的图像进行处理的系统。

背景技术

在医疗现场，向人体(患者、检查对象者等)、插入人体的手术用设备(内窥镜、导丝、导管、以及支架等)等被摄体照射X射线等放射线，一边实时地显示通过检测器检测透过了被摄体的放射线的强度分布所得到的图像(以下记载为透射像)，一边由医生和技术人员进行医疗和检查等医疗行为。

为了将辐射对人体的影响抑制得小，而间歇地照射放射线。所得到的透射像之间的时间间隔变长。因此，在作为动画重放透射像的情况下，被摄体的运动会成为不自然的运动的动画。

因此，理想的是实现以下的帧率变换技术，即通过对透射像执行图像处理而生成插补图像，通过插入到透射像之间而重放自然的运动的图像。

一直以来对帧率变换技术面向电视机的应用等进行了研究，例如已知非专利文献1记载的技术等。

对于帧率变换技术，以下的技术(密集光流推定技术)是不可欠缺的，即推定表示在时间上连续的2张图像(帧)之间，显示在图像上的全部被摄体分别怎样地运动的运动信息(各像素的运动向量)。

在密集光流推定技术中，推定2张图像之间的对应点(亮度值或纹理在图像之间相互对应的点)。作为密集光流推定技术，例如已知非专利文献2和非专利文献3记载的技术等。

现有技术文献

非专利文献

非专利文献1：M Armstrong,D Flynn,M Hammond,S Jolly,R Salmon；“HighFrame-Rate Television”，BBC Research White Paper WHP 169，September 2008

非专利文献2：G“Two-Frame Motion Estimation Based onPolynomial Expansion”，SCIA 2003:Image Analysis pp 363-370，ScandinavianConference on Image Analysis 2003

非专利文献3：Xiang Li,Jianle Chen,and Marta Karczewicz；“Frame Rate Up-Conversion based Motion Vector Derivation for Hybrid Video Coding”，2017 DataCompression Conference(DCC)

发明内容

发明要解决的问题

在非专利文献2和非专利文献3中，公开了推定连续2张图像之间的对应点的技术。另外，在非专利文献3中，公开了以下的技术，即在连接所推定出的对应点之间的线段上，对2张图像上的像素的各亮度值进行内分，生成插补图像。通过利用这些技术，能够增加每单位时间的图像数(帧数)。

将人体作为被摄体的放射线图像处理系统为了将辐射抑制为最小限，具备限制放射线的照射范围的“光圈”。

在光圈的内侧(放射线不被光圈遮挡的区域)，直接向被摄体照射放射线，因此透过被摄体的放射线量多，透射像的亮度值高，另外，对比度也强。另一方面，在光圈的外侧(放射线被光圈遮挡的区域)，透过了光圈的放射线照射到被摄体，因此透过被摄体的放射线量少，透射像的亮度值低，另外，对比度也弱。在以下的说明中，将通过光圈形成在图像上的阴影的区域记载为光圈阴影区域。

在此，使用图18A和图18B说明根据基于经由光圈照射的放射线生成的图像而生成插补图像的情况下的问题。

图18A和图18B是说明现有技术的问题的图。在此，生成透射像的时间间隔为T。另外，假设生成用于使帧数成为2倍的插补图像。

图18A表示在被摄体静止而光圈阴影区域的大小时刻变化的状况下拍摄的透射像。图18B表示在光圈阴影区域的大小不变化而被摄体正在移动的状况下拍摄的透射像。

第一图像1801是成为基准的透射像，第二图像1803是在第一图像1801之后拍摄的透射像。在第一图像1801中包含光圈阴影区域1804，另外在第二图像1803中包含被摄体像1806。框1805表示分开光圈阴影区域1804的内侧和外侧的边界。在以下的说明中，将光圈阴影区域的边界记载为光圈边界。

如图18A所示，跨过光圈边界的被摄体的影像根据光圈阴影区域1804的大小的变化而变化。另外，如图18B所示，跨过光圈边界的被摄体的影像由于被摄体的移动而变化。在该情况下，难以正确地推定第一图像1801和第二图像1803之间的被摄体的对应点。因此，在根据第一图像1801和第二图像1803生成的插补图像1802中，显示出光圈边界或手术用设备等被摄体变形。区域1809是产生了光圈边界的变形的区域。

在重放包含上述那样的产生了变形的插补图像的图像的情况下，有可能对诊断和手术等医疗行为产生障碍。

本发明就是鉴于这样的状况而提出的。提供一种放射线图像处理系统，即使在跨过光圈边界的被摄体的影像变化的情况下，也能够生成变形等噪声少的插补图像，实现高质量并且流畅的图像重放。

用于解决问题的手段

如果表示在本申请中公开的发明的代表性的一个例子，则如下。即，是对通过经由光圈间歇地向被摄体照射放射线而得到的图像进行处理的放射线图像处理系统，其具备：运动信息推定部，其使用时序上连续的第一图像和第二图像，计算与上述第一图像所包含的多个像素分别对应的用于推定被摄体的运动的推定值，生成由上述多个像素各自的上述推定值构成的运动信息；运动信息修正部，其根据上述第一图像和上述第二图像分别包含的通过上述光圈形成的光圈边界，确定由需要修正上述运动信息的值的像素构成的修正区域，修正上述运动信息的上述修正区域的上述推定值；帧插补部，其根据上述修正后的运动信息，生成插入到上述第一图像和上述第二图像之间的插补图像。

发明效果

根据本发明，放射线图像处理系统即使在跨过光圈边界的被摄体的影像变化的情况下，也能够生成噪声少的插补图像，实现高质量并且流畅的图像重放。根据以下的实施例的说明能够明确上述以外的问题、结构、以及效果。

附图说明

图1是表示实施例1的放射线图像处理系统的结构的一个例子的框图。

图2是表示实施例1的图像处理部的硬件结构的一个例子的框图。

图3是表示实施例1的图像处理部的功能结构的一个例子的框图。

图4是说明实施例1的图像处理部执行的处理的概要的流程图。

图5是表示实施例1的第一光圈边界推定部的结构的一个例子的图。

图6是说明实施例1的第一光圈边界推定部执行的第一光圈边界推定处理的图。

图7A是表示实施例1的光圈边界检测部的结构的一个例子的图。

图7B是表示实施例1的光圈边界检测部的结构的一个例子的图。

图8是说明实施例1的运动信息推定部的运动信息的生成方法的图。

图9是说明实施例1的运动信息推定部的运动向量的计算方法的图。

图10A是说明实施例1的第二光圈边界推定部执行的第二光圈边界推定处理的图。

图10B是说明实施例1的第二光圈边界推定部执行的第二光圈边界推定处理的图。

图11是表示实施例1的运动信息修正部的结构的一个例子的图。

图12是表示实施例1的运动信息修正部生成的差值图像的一个例子的图。

图13是表示实施例1的对运动信息修正部设定的修正策略的一个例子的图。

图14是表示实施例1的第二运动信息修正部的结构的一个例子的图。

图15是说明实施例1的第二运动信息修正部执行的处理的流程图。

图16是说明实施例1的内插部执行的处理的流程图。

图17A是表示实施例1的帧插补部的结构的一个例子的图。

图17B是表示实施例1的帧插补部的结构的一个例子的图。

图17C是表示实施例1的帧插补部的结构的一个例子的图。

图18A是说明现有技术的问题的图。

图18B是说明现有技术的问题的图。

具体实施方式

以下，使用附图说明本发明的实施例。但是，并不是将本发明限定地解释为以下所示的实施例的记载内容。对于本领域的技术人员，容易理解在不从本发明的思想或主要内容脱离的范围内，能够变更其具体结构。

在以下说明的发明的结构中，对相同或类似的结构或功能附加相同的附图标记，省略重复的说明。

为了识别构成要素而附加本说明书等中的“第一”、“第二”、“第三”等标记，并不一定限制个数或顺序。

为了容易理解发明，在附图等中表示的各结构的位置、大小、形状、以及范围等有时并不表示实际的位置、大小、形状、以及范围等。因此，在本发明中，并不限于附图等公开的位置、大小、形状、以及范围等。

[实施例1]

图1是表示实施例1的放射线图像处理系统的结构的一个例子的框图。

如图1所示，放射线图像处理系统101具备X射线管102、高电压产生部103、X射线控制部104、光圈105、X射线补偿滤波器106、光圈/滤波器控制部107、台109、机构控制部110、X射线检测器111、检测器控制部112、存储部113、中央处理部114、图像处理部115、输入部116、显示部117。

台109是承载人等被摄体108的卧台。机构控制部110与台109电连接，控制台109的运动使得被摄体108成为适合于拍摄的位置。这时，对于X射线检测器111，也可以设为与台109一体地移动的构造。

X射线管102产生X射线，并朝向配置在台109上的被摄体108照射该X射线。高电压产生部103与X射线管102电连接，产生向X射线管102施加的高电压。X射线控制部104与高电压产生部103电连接，控制高电压产生部103，控制从X射线管102照射的X射线的射线量和射线质量。

光圈105被配置在X射线管102的X射线照射方向上，通过X射线吸收率高的金属的开闭，控制照射通过X射线管102产生的X射线的区域。X射线补偿滤波器106由具有波长依存性的X射线吸收率高的物质构成，通过使到达被摄体108的X射线吸收率低的部位的X射线衰减而减轻晕影，并且使不必要的波长分量衰减而减轻人体的被辐射量。

光圈/滤波器控制部107与光圈105和X射线补偿滤波器106电连接，控制光圈105的位置(X射线的照射范围)和X射线补偿滤波器106。

X射线检测器111被配置成隔着光圈105、X射线补偿滤波器106、以及台109与X射线管102相对，作为图像生成部发挥功能。具体地说，X射线检测器111将从X射线管102照射并透过了被摄体108的X射线的强度分布变换为特征量，输出由每个像素的特征量构成的透射像的数据。特征量例如是亮度值和方差值等。在本说明书中，使用具有亮度值作为特征量的图像进行说明。

检测器控制部112与X射线检测器111电连接，通过控制X射线检测器111而取得透射像的数据，将透射像的数据输入到图像处理部115。检测器控制部112通过控制X射线检测器111，既可以作为静止图像生成透射像，也可以作为动画图像生成在时间上不同的定时下拍摄所得的多个透射像。用于生成动画图像的拍摄定时例如可以考虑每秒30帧和每秒15帧等固定的时间间隔。设想后述的插入插补图像，也可以延长时间间隔。此外，本发明并不限于时间间隔。

图像处理部115与检测器控制部112电连接，执行通过X射线检测器111拍摄并经由检测器控制部112输入的透射像的修正处理。

中央处理部114与X射线控制部104、光圈/滤波器控制部107、机构控制部110、检测器控制部112、存储部113、图像处理部115、输入部116、显示部117电连接，控制电连接的各功能部。中央处理部114例如是通用计算机具备的CPU(中央处理单元)。

存储部113具备半导体存储器和磁盘等记录介质，作为数据而存储图像取得条件和图像等。记录介质的种类并不限于此。

输入部116是用于由使用者设定图像取得条件等的用户接口。作为输入部116，既可以具备键盘、鼠标、以及控制用按键等，也可以具备用于进行语音输入和手势输入等的传感器等。

显示部117显示修正后的图像。作为显示部117，可以具备显示器和打印机等。

使用专用的硬件来实现X射线控制部104、光圈/滤波器控制部107、机构控制部110、检测器控制部112、以及图像处理部115，但并不限于此。例如，也可以作为软件来实现各硬件。在该情况下，将实现各硬件的功能的程序存储在存储部113中，由中央处理部114依照该程序执行处理，由此实现各硬件的功能。

以下，详细说明图像处理部115的细节。

图2是表示实施例1的图像处理部115的硬件结构的一个例子的框图。图3是表示实施例1的图像处理部115的功能结构的一个例子的框图。图4是说明实施例1的图像处理部115执行的处理的概要的流程图。

计算机200是实现图像处理部115的计算机，具备处理器201、存储器202、存储装置203、网络接口204、IO接口205。上述各硬件经由总线206相互连接。

处理器201是控制计算机200整体的装置，处理器201执行存储在存储器202中的程序。处理器201依照程序执行处理，由此作为实现特定的功能的功能部而动作。在以下的说明中，在以功能部为主语说明处理的情况下，表示处理器201正在执行实现该功能部的程序。

存储器202存储处理器201执行的程序和程序使用的信息。另外，存储器202包含程序临时使用的工作区。存储器202存储实现图3所示的第一光圈边界推定部301、第二光圈边界推定部302、运动信息推定部303、运动信息修正部304、以及帧插补部305的程序。将在后面说明功能部。

存储装置203是永久地存储数据的存储装置，例如是HDD(硬盘驱动器)、SSD(固态驱动器)。

此外，也可以将存储在存储器202中的程序和信息存储到存储装置203中。在该情况下，处理器201从存储装置203读出程序和信息，装载到存储器202，进而执行装载在存储器202中的程序。

网络接口204是用于经由网络215与图像取得装置等外部装置进行通信的接口。网络215例如是LAN(局域网)、WAN(广域网)、内联网、因特网、便携电话网、固定电话网等。连接方式可以是有线或无线。

IO接口205是用于与输入装置和输出装置连接的接口。IO接口205与作为输入装置的键盘211和鼠标212连接，与作为输出装置的显示器213连接。

图像处理部115从X射线检测器111取得输入图像，向输入图像之间插入通过执行后述的处理而生成的插补图像，输出图像群。在此，说明图像处理部115具有的功能部。

第一光圈边界推定部301使用2个透射像，推定光圈阴影区域的边界、即光圈边界的位置。在以下的说明中，将通过第一光圈边界推定部301推定的光圈边界记载为第一推定光圈边界。

运动信息推定部303根据2个透射像推定成为基准的透射像中的被摄体的运动，生成包含推定结果的运动信息。运动信息由与成为基准的透射像的各像素对应的作为被摄体的运动的推定结果的运动向量构成。此外，利用非专利文献2和非专利文献3等公知技术生成运动信息。

第二光圈边界推定部302使用运动信息推定光圈边界。在以下的说明中，将通过第二光圈边界推定部302推定的光圈边界记载为第二推定光圈边界。

运动信息修正部304根据第一推定光圈边界和第二推定光圈边界，修正运动信息。

帧插补部305根据透射像和修正后的运动信息，生成插入到透射像之间的插补图像，将所生成的插补图像插入到透射像之间。可以任意地对帧率的增加幅度设定整数倍、小数倍、以及分数倍等。在实施例1中，以使帧率成为2倍的情况为例子说明处理。

运动信息修正部304也可以包括第一光圈边界推定部301和第二光圈边界推定部302。

图像处理部115经由检测器控制部112从X射线检测器111取得输入图像(透射像)(步骤S401)。

图像处理部115的运动信息推定部303执行运动信息推定处理(步骤S402)。

图像处理部115的第一光圈边界推定部301执行第一光圈边界推定处理(步骤S403)。另外，图像处理部115的第二光圈边界推定部302执行第二光圈边界推定处理(步骤S404)。

图像处理部115的运动信息修正部304执行运动信息修正处理(步骤S405)。

图像处理部115的帧插补部305执行帧插补处理(步骤S406)。

图像处理部115的帧插补部305将向透射像之间插入了插补图像后的图像群输出到显示部117(步骤S407)，并结束处理。

以下，说明第一光圈边界推定部301、第二光圈边界推定部302、运动信息推定部303、运动信息修正部304、以及帧插补部305的具体处理。

(第一光圈边界推定部301的说明)

首先，说明第一光圈边界推定部301。图5是表示实施例1的第一光圈边界推定部301的结构的一个例子的图。图6是说明实施例1的第一光圈边界推定部301执行的第一光圈边界推定处理的图。图7A和图7B是表示实施例1的光圈边界检测部502的结构的一个例子的图。

第一光圈边界推定部301包括帧延迟部501、光圈边界检测部502-1、502-2、以及线性插补部503。

帧延迟部501使透射像的输入延迟。由此，第一光圈边界推定部301能够实现使用时序上连续的2个透射像进行的处理。即，直接将输入图像输入到光圈边界检测部502-1，将时序为前一个的输入图像输入到光圈边界检测部502-2。在以下的说明中，将输入到光圈边界检测部502-1的输入图像记载为第二图像，将输入到光圈边界检测部502-2的输入图像记载为第一图像。

光圈边界检测部502-1、502-2检测透射像的光圈边界。如图6所示，作为根据第二图像的光圈阴影区域确定的光圈边界的位置信息，光圈边界检测部502-1输出左上的坐标(L2，T2)和右下的坐标(R2，B2)。作为根据第一图像的光圈阴影区域确定的光圈边界的位置信息，光圈边界检测部502-2输出左上的坐标(L1，T1)和右下的坐标(R1，B1)。

如图6所示，线性插补部503用直线将第一图像和第二图像的光圈边界之间连接起来，由此推定插补图像的光圈边界。作为插补图像的光圈边界(第一推定光圈边界)的位置信息，线性插补部503输出左上的坐标(IL，IT)和右下的坐标(IR，IB)。

在此，使用图7A和图7B说明光圈边界检测部502的结构。

图7A所示的光圈边界检测部502包括水平方向信息阵列(配列)701、水平高通滤波器702、位置检测部703、垂直方向信息阵列704、垂直高通滤波器705、以及位置检测部706。

在输入了图像750的情况下，光圈边界检测部502计算水平方向的亮度值的平均值，将计算值积累到水平方向信息阵列701中，将与积累的计算值对应的信号输入到水平高通滤波器702。位置检测部703检测通过了水平高通滤波器702的信号所包含的高频分量的最大值位置，作为表示图像750的光圈阴影区域的水平方向的边界的位置。右侧为光圈边界的右端的坐标(R)，左侧为光圈边界的左端的坐标(L)。

另外，光圈边界检测部502计算垂直方向的亮度值的平均值，将计算值积累到垂直方向信息阵列704中，将与积累的计算值对应的信号输入到垂直高通滤波器705。位置检测部706检测通过了垂直高通滤波器705的信号所包含的高频分量的最大值位置，作为表示图像750的光圈阴影区域的垂直方向的边界的位置。上侧为光圈边界的上边的坐标(T)，下侧为光圈边界的下边的坐标(B)。

图7B所示的光圈边界检测部502包括水平方向信息阵列701、水平高通滤波器702、位置检测部703、垂直方向信息阵列704、垂直高通滤波器705、位置检测部706、水平门(gate)信号生成部711、乘法器712、垂直门(gate)信号生成部713、以及乘法器714。

水平门信号生成部711根据来自控制光圈105的光圈/滤波器控制部107的信号，生成水平门信号。垂直门信号生成部713根据来自控制光圈105的光圈/滤波器控制部107的信号，生成垂直门信号。

乘法器712将通过了水平高通滤波器702的信号乘以水平门信号。乘法器714将通过了垂直高通滤波器705的信号乘以垂直门信号。

位置检测部703从水平门信号的值为1的范围中检测水平高频分量最大的位置，位置检测部706从垂直门信号的值为1的范围中检测垂直高频分量最大的位置。

这样，通过使门信号作用，能够防止将图像750的光圈边界以外的纹理错误检测为光圈边界。

(运动信息推定部303的说明)

接着，说明运动信息推定部303。图8是说明实施例1的运动信息推定部303的运动信息的生成方法的图。图9是说明实施例1的运动信息推定部303的运动向量的计算方法的图。

运动信息推定部303搜索与基准图像的对应点(像素)对应的参照图像的对应点，计算将2个图像的对应点连接起来的线段的二维坐标(图像平面)的差(dx，dy)作为二维的运动向量。例如，在将第一图像作为基准图像，将第二图像作为参照图像的情况下，计算将被摄体801和被摄体802的各对应点连接起来的线段的二维坐标的差作为第一图像的对应点的运动向量。在运动信息中包含基准图像的各像素的运动向量。此外，对于找不到对应点的像素(即在基准图像和参照图像之间看作为对应点的位置的像素之间的亮度值相互有很大差异的像素)，不存在运动向量，或计算出错误的运动向量(即精度低的运动向量)，或计算出附加了表示没有找到对应点的标志的运动向量(即无效的运动向量)。

将针对构成图像的全部像素搜索对应点的处理称为密集光流推定技术。

图9的各像素的圆圈表示图像的一个方向(水平方向或垂直方向)的像素。黑圈是与被摄体A的对应点对应的像素，白圈是与被摄体B的对应点对应的像素。

(方式A)表示正方向的运动信息推定方式。在本方式中，将第二图像作为基准，推定第一图像的对应点。即，推定与第二图像的各像素对应的第一图像的对应点。第一图像的对应点的坐标有时为小数像素单位。

(方式B)表示反方向的运动信息推定方式。在本方式中，将第一图像作为基准，推定第二图像的对应点。即，推定与第一图像的各像素对应的第二图像的对应点。第二图像的对应点的坐标有时为小数像素单位。

为了使插补图像的对应点的位置与像素一致，将插补图像作为基准即可。因此，运动信息推定部303根据基于(方式A)和(方式B)分别生成的运动信息的平均，近似地生成要使用的运动信息。此外，可以使用(方式A)和(方式B)的任意一方生成运动信息。

(第二光圈边界推定部302的说明)

图10A和图10B是说明实施例1的第二光圈边界推定部302执行的第二光圈边界推定处理的图。

第二光圈边界推定部302根据通过运动信息推定部303生成的运动信息，取得基准图像的光圈边界的各对应点的运动向量。图10A表示将第一图像作为基准生成的与光圈边界对应的像素的运动向量的一个例子。如图10A所示，有时根据运动向量推定的第二图像的光圈边界会变形。

如图10B所示，第二光圈边界推定部302使用与光圈边界对应的像素的运动向量，确定插补图像的光圈边界(对应点的集合)。由此，推定光圈边界的位置。

例如在使帧数成为2倍的情况下，第二光圈边界推定部302生成将光圈边界的运动信息所包含的运动向量缩小为1/2的运动信息，使用该运动信息，确定插补图像的光圈边界的对应点。在使帧数成为3倍的情况下，第二光圈边界推定部302生成将光圈边界的运动信息所包含的运动向量缩小为1/3的运动信息，将运动向量缩小为2/3的运动信息，使用各运动信息，确定2个插补图像的光圈边界的对应点。

(运动信息修正部304的说明)

接着，说明运动信息修正部304。图11是表示实施例1的运动信息修正部304的结构的一个例子的图。图12是表示实施例1的运动信息修正部304生成的差值图像的一个例子的图。图13是表示实施例1的对运动信息修正部304设定的修正策略的一个例子的图。

运动信息修正部304包括第一二值信息生成部1101、第二二值信息生成部1102、减法器1103、正值区域提取部1104、零区域提取部1105、负值区域提取部1106、反相部1107、乘法器1108、1109、第一运动信息修正部1110、第二运动信息修正部1111、第三运动信息修正部1112、第四运动信息修正部1113、以及混合部1114。

第一二值信息生成部1101和第二二值信息生成部1102根据输入的图像生成二值图像。具体地说，第一二值信息生成部1101生成包含第一推定光圈边界的图像的二值图像1151，将二值图像1151输出到减法器1103、反相部1107、以及乘法器1108。第二二值信息生成部1102生成包含第二推定光圈边界的图像的二值图像1152，将二值图像1152输出到减法器1103。对于二值图像1151、1152，被二值化为光圈边界的内侧的亮度值为1，光圈边界的外侧为0。

减法器1103根据2个图像生成差值图像，将差值图像输出到正值区域提取部1104、零区域提取部1105、以及负值区域提取部1106。如图12所示，减法器1103根据二值图像1151、1152生成差值图像1200。

在差值图像1200中包含二值图像1151、1152的亮度值不同的区域1201、1202。区域1201、1202以外的区域是二值图像1151、1152没有不同的区域。

区域1201是因被摄体从光圈边界的外侧向内侧的方向移动造成的区域。区域1202是因被摄体从光圈边界的内侧向外侧的方向移动造成的区域。

运动信息修正部304依照图13所示那样的修正策略修正运动信息。

第一区域是二值图像1151、1152的任意一个的亮度值是1的区域。第一区域与光圈边界的内侧的区域对应。在第一区域中，推定为被摄体正在光圈边界的内侧运动。在第一区域中，不进行运动向量的修正。

第二区域是二值图像1151的亮度值是1而二值图像1152的亮度值是0的区域、即区域1201。在第二区域中，推定为被摄体从外侧向内侧的方向跨过光圈边界地移动。在第二区域中，固定光圈边界的运动向量，进行推定第二区域所包含的各像素的运动向量的内插。将在后面详细说明第二区域的修正。

第三区域是二值图像1151、1152的任意一个的亮度值是0的区域。第三区域与光圈边界的外侧的区域对应。在第三区域中，推定为被摄体正在光圈边界的外侧运动。在第三区域中，进行修正使得运动向量为0(即静止)。

第四区域是二值图像1151的亮度值是0而二值图像1152的亮度值是1的区域、即区域1202。在第四区域中，推定为被摄体从外侧向内侧的方向跨过光圈边界地移动。在第四区域中，进行修正使得运动向量为0。

返回到图11的说明。

正值区域提取部1104提取从二值图像1151的亮度值减去二值图像1152的亮度值所得的值为正的正值区域、即第二区域(区域1201)。表示提取的区域的位置的位置信息被输出到第二运动信息修正部1111。

零区域提取部1105提取从二值图像1151的亮度值减去二值图像1152的亮度值所得的值为零的零区域(第一区域或第三区域)。表示提取的区域的位置的位置信息被输出到乘法器1108、1109。

负值区域提取部1106提取从二值图像1151的亮度值减去二值图像1152的亮度值所得的值为负的负值区域、即第四区域(区域1202)。表示提取的区域的位置的位置信息被输出到第四运动信息修正部1113。

反相部1107使二值图像1151的亮度值反相，将亮度值反相后的二值图像1151输出到乘法器1109。

乘法器1108通过将二值图像1151和表示零区域的位置的位置信息相乘，而提取第一区域，将第一区域的位置信息输出到第一运动信息修正部1110。

乘法器1109通过将使亮度值反相后的二值图像1151和表示零区域的位置的位置信息相乘，而提取第三区域，将第三区域的位置信息输出到第三运动信息修正部1112。

此外，各区域的位置信息例如是与二值图像1151相同的大小并且包含所提取的区域的图像。假设提取的区域的亮度值是1，其他区域的亮度值是0。

在输入了第一区域的位置信息和运动信息的情况下，第一运动信息修正部1110将运动信息的与第一区域对应的像素的运动向量直接输出到混合部1114。

在输入了第二区域的位置信息和运动信息的情况下，第二运动信息修正部1111通过内插对运动信息的与第二区域对应的像素的运动向量进行修正，将修正后的运动向量输出到混合部1114。

在输入了第三区域的位置信息和运动信息的情况下，第三运动信息修正部1112将运动信息的与第三区域对应的像素的运动向量修正为0，将修正后的运动向量输出到混合部1114。

在输入了第四区域的位置信息和运动信息的情况下，第四运动信息修正部1113将运动信息的与第四区域对应的像素的运动向量修正为0，将修正后的运动向量输出到混合部1114。

混合部1114通过对各区域的运动向量进行混合，而生成由全部区域的运动向量构成的运动信息(修正运动信息)。混合部1114将修正运动信息输出到帧插补部305。

图14是表示实施例1的第二运动信息修正部1111的结构的一个例子的图。图15是说明实施例1的第二运动信息修正部1111执行的处理的流程图。图16是说明实施例1的内插部1404执行的处理的流程图。

首先，说明第二运动信息修正部1111的结构和处理的流程。

第二运动信息修正部1111包括反相部1401、分离部1402、1403、内插部1404、以及合成部1405。

反相部1401使作为图像输入的第二区域的位置信息1405的亮度值反相，生成掩模(mask)信息1451(步骤S1501)。反相部1401将掩模信息1451输出到内插部1404。

分离部1402和分离部1403将运动信息所包含的向量分离为水平方向和垂直方向(步骤S1502)。

具体地说，分离部1402提取运动信息所包含的运动向量的水平方向(x轴方向)的分量，将包含运动向量的水平方向的分量的对象信息1453输出到内插部1404。分离部1403提取运动信息所包含的运动向量的垂直方向(y轴方向)的分量，将包含运动向量的垂直方向的分量的对象信息输出到内插部1404。对象信息是由表示各像素的运动的大小的标量值构成的信息。

在此，为了理解的简单，将分离部1402输出的对象信息1453表示为将运动向量的水平方向的大小表示为亮度值的虚拟的图像。

内插部1404执行以下的内插处理，即使用对象信息和掩模信息1451，修正第二区域的运动向量(步骤S1503)。内插部1404分别对运动向量的水平分量和垂直分量进行修正。

合成部1405执行以下的合成处理，即对运动向量的水平分量和垂直分量进行合成，生成包含第二区域的修正后的运动向量的修正运动信息(步骤S1504)。

接着，说明内插部1404的结构和处理的流程。

内插部1404包括乘法器1411、1412、低通滤波器1413、1414、1415、以及除法器1416、1417。

乘法器1411将对象信息1453和掩模信息1451相乘，生成积信息1454，将积信息1454输出到低通滤波器1413。乘法器1412也执行同样的处理。

低通滤波器1413根据积信息1454生成第一LPF信息1455，输出到除法器1416。低通滤波器1414也执行同样的处理。低通滤波器1415根据掩模信息1451生成第二LPF信息1456，输出到除法器1416。

此外，低通滤波器1413、低通滤波器1414、以及低通滤波器1415是起作用的信息不同但相同的滤波器。

除法器1416通过将第一LPF信息1455除以第二LPF信息1456，而生成合成信息1457。除法器1417也执行同样的处理。

通过上述那样的运算，对运动信息的第二区域的运动向量进行修正，使得第二区域相对于周边的运动向量的变化变得平滑。由此，消除第二区域。

在此，使用图16说明内插部1404的详细处理。在此，以水平方向为例子进行说明。

内插部1404判定是否需要修正对象信息(步骤S1601)。

例如，内插部1404判定在掩模信息1451中是否存在亮度值是0的区域(第二区域)。在掩模信息1451中存在亮度值是0的区域的情况下，内插部1404判定为需要修正对象信息。

在判定为需要修正对象信息的情况下，内插部1404的乘法器1411根据对象信息和掩模信息1451生成积信息1454(步骤S1602)。

内插部1404通过使低通滤波器1413作用于积信息1454，而生成第一LPF信息1455(步骤S1603)。

内插部1404通过使低通滤波器1415作用于掩模信息1451，而生成第二LPF信息1456(步骤S1604)。

内插部1404参照第二LPF信息1456，生成将值是0的区域的亮度值设为0、将值是非零的区域的亮度值设为1的二值信息(步骤S1605)。

内插部1404的除法器1416使用第一LPF信息1455和第二LPF信息1456，生成第一合成信息(步骤S1606)。

具体地说，除法器1416根据公式(1)生成第一合成信息。

[公式1]

在此，OI表示对象信息，MI表示掩模信息1451，LPF1表示第一LPF信息1455，LPF2表示第二LPF信息1456，BI表示二值信息。ε是用于防止分母成为0的值，比1充分小。

公式(1)的第一项是针对不进行对象信息的修正的区域、即掩模信息1451的亮度值是1的区域选择对象信息的值的运算。公式(1)的第二项是以下的运算，即从对象信息选择进行修正的区域，针对第二LPF信息1456的值是非零的区域进行内插，针对第二LPF信息1456的值为0的区域输出0。

接着，内插部1404将第一合成信息和掩模信息1451看作为图像，将第一合成信息和掩模信息1451缩小为预定的大小，将缩小后的第一合成信息设定为对象信息，将缩小后的二值信息设定为掩模信息1451(步骤S1606)。

接着，内插部1404执行步骤S1602～步骤S1605的处理，将生成的合成信息放大为原来的大小，作为第二合成信息输出(步骤S1607)。

接着，内插部1404使用第一合成信息和第二合成信息，生成第三合成信息(步骤S1608)。然后，内插部1404将第三合成信息设定为对象信息，返回到步骤S1601。

具体地说，内插部1404根据公式(2)，生成第三合成信息。

[公式2]

第三合成信息＝第一合成信息×BI+第二合成信息×(1-BI) ……(2)

公式(2)的第一项是选择第一合成信息中的二值信息的亮度值为1的区域的运算。公式(2)的第二项是选择第二合成信息中的二值信息的亮度值为0的区域的运算。

在步骤S1601中判定为不需要修正对象信息的情况下，内插部1404输出第三合成信息(步骤S1610)，结束处理。

(帧插补部305的说明)

接着，说明帧插补部305。图17A、图17B、图17C是表示实施例1的帧插补部305的结构的一个例子的图。

图17A所示的帧插补部305包括帧延迟部1701、反方向运动补偿部1702、正方向运动补偿部1703、乘法器1704、1705、1706、1707、以及加法器1708。

乘法器1704通过将修正运动信息乘以系数-(1-k)，而提取与时间的前进方向反向的运动信息，输出到反方向运动补偿部1702。乘法器1704通过将修正运动信息乘以系数k，而提取与时间的前进方向相同的方向的运动信息，输出到正方向运动补偿部1703。

在此，“k”、“1-k”表示图像的取得时间间隔的内分比。例如，在使帧率成为2倍的情况下，k为1/2。向乘法器1704输入负值的理由是为了将运动信息变换为与时间的前进方向反向。

反方向运动补偿部1702使用修正运动信息和第二图像，进行与时间的前进方向反向的运动补偿，由此生成图像。正方向运动补偿部1703使用修正运动信息和第一图像，进行与时间的前进方向相同的方向的运动补偿，由此生成图像。

在此，运动补偿表示根据运动信息使图像的像素移动到对应点的位置而对图像整体进行变形的处理。

乘法器1706将从反方向运动补偿部1702输出的图像乘以系数k，并输出到加法器1708。乘法器1707将从正方向运动补偿部1703输出的图像乘以系数(1-k)，并输出到加法器1708。加法器1708通过使2个图像重合而生成插补图像。

帧插补部305既可以如图17B所示那样构成为只包括帧延迟部1701、帧延迟部1701、正方向运动补偿部1703、以及乘法器1706，也可以如图17C所示那样构成为只包括反方向运动补偿部1702和乘法器1704。

(总结)

实施例1的放射线图像处理系统101确定因跨过光圈边界的被摄体的影像的变化造成的运动信息的修正区域(第二区域)，修正所确定的修正区域的运动向量。放射线图像处理系统101能够根据修正后的运动信息生成噪声少的插补图像。由此，能够实现高质量并且流畅的图像重放。

另外，放射线图像处理系统101使低通滤波器分别作用于运动信息和表示图像中的修正区域的掩模信息，并进行它们的除法运算，由此能够高效并且高速地修正修正区域的运动向量。

此外，本发明并不限于上述实施例，包含各种变形例子。另外，例如为了容易理解地说明本发明而详细说明了上述实施例，但并不一定限于具备所说明的全部结构。另外，能够对各实施例的结构的一部分进行其他结构的追加、删除、置换。

另外，例如也可以通过用集成电路进行设计等而用硬件实现上述各结构、功能、处理部、处理单元等的一部分或全部。另外，也能够通过实现本实施例的功能的软件的程序代码来实现本发明。在该情况下，向计算机提供记录了程序代码的存储介质，由计算机具备的处理器读出存储在存储介质中的程序代码。在该情况下，从存储介质读出的程序代码自身实现上述实施例的功能，该程序代码自身、以及存储它的存储介质构成本发明。作为用于供给这样的程序代码的存储介质，例如使用软盘、CD-ROM、DVD-ROM、硬盘、SSD(固态驱动器)、光盘、光磁盘、CD-R、磁带、非易失性的存储卡、ROM等。

另外，实现本实施例记载的功能的程序代码例如能够用汇编、C/C++、perl、Shell、PHP、Python、Java(注册商标)等范围广的程序或脚本语言来实现。

进而，也可以通过经由网络发布实现实施例的功能的软件的程序代码，而将其存储到计算机的硬盘、存储器等存储单元或CD-RW、CD-R等存储介质中，由计算机具备的处理器读出并执行存储在该存储单元、该存储介质中的程序代码。

在上述实施例中，表示出认为是说明上必要的控制线、信息线，并不限于在产品上一定表示出全部的控制线、信息线。也可以将全部的结构相互连接起来。

附图标记说明

101：放射线图像处理系统；102：X射线管；103：高电压产生部；104：X射线控制部；105：光圈；106：X射线补偿滤波器；107：光圈/滤波器控制部；108：被摄体；109：台；110：机构控制部；111：X射线检测器；112：检测器控制部；113：存储部；114：中央处理部；115：图像处理部；116：输入部；117：显示部；200：计算机；201：处理器；202：存储器；203：存储装置；204：网络接口；205：IO接口；206：总线；211：键盘；212：鼠标；213：显示器；215：网络；301：第一光圈边界推定部；302：第二光圈边界推定部；303：运动信息推定部；304：运动信息修正部；305：帧插补部；501、1701：帧延迟部；502：光圈边界检测部；503：线性插补部；701：水平方向信息阵列；702：水平高通滤波器；703、706：位置检测部；704：垂直方向信息阵列；705：垂直高通滤波器；711：水平门信号生成部；712、714、1108、1109、1411、1412、1704、1706：乘法器；713：垂直门信号生成部；1101：第一二值信息生成部；1102：第二二值信息生成部；1103：减法器；1104：正值区域提取部；1105：零区域提取部；1106：负值区域提取部；1107、1401：反相部；1110：第一运动信息修正部；1111：第二运动信息修正部；1112：第三运动信息修正部；1113：第四运动信息修正部；1114：混合部；1402、1403：分离部；1404：内插部；1405：合成部；1413、1414、1415：低通滤波器；1416、1417：除法器；1702：反方向运动补偿部；1703：正方向运动补偿部；1708：加法器。

Claims (2)

1.一种放射线图像处理系统，其对通过经由光圈间歇地向被摄体照射放射线而得到的图像进行处理，该放射线图像处理系统的特征在于，具备：

运动信息推定部，其使用时序上连续的第一图像和第二图像，计算与上述第一图像所包含的多个像素分别对应的用于推定被摄体的运动的推定值，生成由上述多个像素各自的上述推定值构成的运动信息；

运动信息修正部，其根据上述第一图像和上述第二图像中分别包含的通过上述光圈形成的光圈边界，确定由需要修正上述运动信息的值的像素构成的修正区域，修正上述运动信息的上述修正区域的上述推定值；以及

帧插补部，其根据修正后的上述运动信息，生成插入到上述第一图像和上述第二图像之间的插补图像，

在上述运动信息修正部中，

确定上述第一图像和上述第二图像各自的上述光圈边界，根据上述第一图像的上述光圈边界和上述第二图像的上述光圈边界，推定上述插补图像的第一推定光圈边界，

根据上述运动信息包含的与上述光圈边界对应的上述像素的上述推定值，推定上述插补图像的第二推定光圈边界，

根据上述第一推定光圈边界和上述第二推定光圈边界的差值，确定上述修正区域，

在上述运动信息修正部中，

根据表示上述修正区域的信息生成掩模信息，

通过使低通滤波器作用于上述运动信息，生成第一低通滤波器信息，

通过使低通滤波器作用于上述掩模信息，生成第二低通滤波器信息，

通过执行使用了上述第一低通滤波器信息和上述第二低通滤波器信息的除法运算，修正上述修正区域的上述推定值。

2.一种图像处理方法，是对通过经由光圈间歇地向被摄体照射放射线而得到的图像进行处理的放射线图像处理系统执行的图像处理方法，其特征在于，

上述放射线图像处理系统具有具备运算装置和与上述运算装置连接的存储装置的至少一个计算机，

上述图像处理方法包括：

上述运算装置使用时序上连续的第一图像和第二图像，计算与上述第一图像中包含的多个像素分别对应的用于推定被摄体的运动的推定值，生成由上述多个像素各自的上述推定值构成的运动信息的第一步骤；

上述运算装置根据上述第一图像和上述第二图像中分别包含的通过上述光圈形成的光圈边界，确定由需要修正上述运动信息的值的像素构成的修正区域，修正上述运动信息的上述修正区域的上述推定值的第二步骤；以及

上述运算装置根据修正后的上述运动信息，生成插入到上述第一图像和上述第二图像之间的插补图像的第三步骤，

上述第二步骤包括：

上述运算装置确定上述第一图像和上述第二图像各自的上述光圈边界的步骤；

上述运算装置根据上述第一图像的上述光圈边界和上述第二图像的上述光圈边界，推定上述插补图像的第一推定光圈边界的步骤；

上述运算装置根据上述运动信息中包含的与上述光圈边界对应的上述像素的上述推定值，推定上述插补图像的第二推定光圈边界的步骤；以及

上述运算装置根据上述第一推定光圈边界和上述第二推定光圈边界的差值，确定上述修正区域的步骤，

上述第三步骤包括：

上述运算装置根据表示上述修正区域的信息生成掩模信息的步骤；

上述运算装置通过使低通滤波器作用于上述运动信息，生成第一低通滤波器信息的步骤；

上述运算装置通过使低通滤波器作用于上述掩模信息，生成第二低通滤波器信息的步骤；以及

上述运算装置通过执行使用了上述第一低通滤波器信息和上述第二低通滤波器信息的除法运算，修正上述修正区域的上述推定值的步骤。