CN116724360A - 预测系统、控制方法以及控制程序 - Google Patents

Abstract

生成并输出表示对象者的对象部位的状态的预测图像。预测系统具备：预测信息取得部，取得(a)拍摄有第一时间点的对象者的对象部位的对象者图像、以及(b)从第一时间点经过了给定期间的第二时间点的与对象部位相关的第一预测信息；以及预测图像生成部，根据第一预测信息以及对象者图像，生成并输出对第二时间点的对象部位的状态进行预测而得到的预测图像。

Description

预测系统、控制方法以及控制程序

技术领域

本公开涉及预测人体的对象部位的状态的预测系统、控制方法以及控制程序。

背景技术

如专利文献1所记载的那样，设计了使用神经网络来进行骨质疏松症诊断辅助。

在先技术文献

专利文献

专利文献1：日本特开2008-36068号公报

发明内容

本公开的一个方式涉及的预测系统具备：预测信息取得部，取得(a)拍摄有第一时间点的对象者的对象部位的对象者图像、以及(b)从所述第一时间点经过了给定期间的第二时间点的与所述对象部位相关的第一预测信息；以及预测图像生成部，根据所述第一预测信息以及所述对象者图像，生成并输出对所述第二时间点的所述对象部位的状态进行预测而得到的预测图像。

此外，本公开的一个方式涉及的控制方法是预测系统的控制方法，包括：预测信息取得步骤，取得(a)拍摄有第一时间点的对象者的对象部位的对象者图像、以及(b)从所述第一时间点经过了给定期间的第二时间点的与所述对象部位相关的第一预测信息；以及预测图像生成步骤，根据所述第一预测信息以及所述对象者图像，生成并输出对所述第二时间点的所述对象部位的状态进行预测而得到的预测图像，所述预测系统具有能够使用所述对象者图像以及所述第一预测信息来生成所述预测图像的预测图像生成模型。

此外，本公开的各方式涉及的预测系统也可以通过计算机来实现，在这种情况下，通过使计算机作为所述预测系统所具备的各部(软件要素)进行动作，使计算机实现所述预测系统的预测系统的控制程序、以及记录了该控制程序的计算机可读取的记录介质也属于本公开的范畴。

在预测系统由多个计算机实现的情况下，作为构成预测系统的多个计算机各自所具备的各部(软件要素)，也可以通过使各计算机动作来使计算机实现所述预测系统。

附图说明

图1是表示本公开的一个方式涉及的预测系统的结构例的框图。

图2是表示本公开的另一方式涉及的预测系统的结构例的框图。

图3是表示本公开的一个方式涉及的预测系统的结构的一例的框图。

图4是表示预测图像生成部所具有神经网络的结构的一例的图。

图5是表示实施方式1涉及的预测系统所进行的处理的流程的一例的流程图。

图6是表示本公开的另一方式涉及的预测系统的结构的一例的框图。

图7是表示预测信息生成部所具有的神经网络的结构的一例的图。

图8是表示实施方式2涉及的预测系统所进行的处理的流程的一例的流程图。

图9是表示本公开的另一方式涉及的预测系统的结构的一例的框图。

图10是表示预测信息生成部所具有的神经网络的学习处理的流程的一例的流程图。

图11是表示实施方式2涉及的预测系统所进行的处理的流程另一例的流程图。

图12是表示本公开的另一方式涉及的预测系统的结构的一例的框图。

图13是表示预测图像生成部所具有的神经网络的结构的一例的图。

图14是表示介入效果预测部所具有的神经网络的学习处理的流程的一例的流程图。

图15是实施方式3涉及的预测系统所进行的处理的流程的一例的流程图。

具体实施方式

为了改善对象者的对象部位的状态、或使疾病的发生以及进展迟缓，期望尽早开始进行治疗以及生活指导等的介入。

为了尽早开始介入，使该对象者识别关于对象者的对象部位的状态的预测结果，使该对象者理解介入的必要性是重要的。

〔实施方式1〕

(预测系统的概要)

本公开的一个方式涉及的预测系统是生成并输出对对象者的身体的对象部位的状态变化进行了预测的预测图像的系统。在此，对象部位可以是对象者的身体的任意部位，例如可以是全身、头部、眼部、口腔部、颈部、臂部、手部、躯干部、腰部、臀部、腿部以及脚部等中的任一个。此外，预测图像也可以是预测对象部位的皮肤、毛发、眼球、牙齿、牙龈、肌肉、脂肪、骨、软骨、关节以及椎间盘等中的任一者的状态变化的图像。

预测图像也可以是预测在受到疾病影响的对象者的对象部位产生的变化的图像。例如，预测图像也可以是表示对象者的对象部位的形状(例如腹围、胸围、身高、肿胀、萎缩、关节角度以及弯曲等)以及外观(例如姿势、皱纹、斑点、发红、浑浊、发黑、泛黄等)中的至少任意一个的图像。

在一例中，对象者也可以在自身的对象部位具有疾病。在这种情况下，预测图像也可以是预测了因疾病的影响而在对象者的对象部位中的症状的变化的图像。在本说明书中，以生成并输出对对象者的对象部位中的症状的变化进行了预测的预测图像的预测系统为例进行说明。在这种情况下，预测图像是表示对象者的疾病对该对象部位造成的影响的图像。在此，“表示对对象部位造成的影响的图像”也可以是表示因疾病而受到影响的对象部位的形状变化、因疾病而在对象部位的组织中产生的质或量的变化等的任意的图像。

疾病也可以包含肥胖症、脱发症、白内障、牙周病、类风湿性关节炎、赫巴登氏结节、拇趾外翻、退行性关节炎、退行性脊椎病、压迫性骨折以及肌肉萎缩症中的至少一种。疾病也可以包括(i)以一组各种症状形成的综合性病理状况的代谢综合症、运动综合症等综合症、以及(ii)衰老、牙齿排列等身体的变化。

预测系统基于拍摄有第一时间点的对象者的对象部位的对象者图像，生成对从第一时间点经过了给定期间的第二时间点的对象部位的症状进行预测而得到的预测图像。在本说明书中，“对象者图像”这样的记载有时意图表示对象者图像的图像数据。

在此，第一时间点例如也可以是取得拍摄了对象者的对象部位的对象者图像的时间点。第一时间点典型地可以是取得拍摄了对象者的当前的对象部位的状态的对象者图像的时间点。即，第一时间点也可以实质上是指当前时刻。此外，给定期间可以是从第一时间点起经过的任意的期间，可以是半年，也可以是1年，也可以是5年，也可以是10年，还可以是50年。即，第二时间点也可以实质上是指将来的任意的时间点。给定期间不限定于一个期间，也可以包含多个期间。即，预测图像也可以包含预测从第一时间点到半年后、1年后、5年后、10年后以及50年后等多个时间点的对象者的对象部位的症状而生成的图像。

对象者图像是拍摄第一时间点的对象者的对象部位的图像。在一例中，对象者图像也可以是拍摄了对象者的全身、头部、上半身、下半身、上肢以及下肢中的某一个的外观图像。在另一例中，对象者图像也可以是为了诊断对象者而拍摄了对象者的对象部位的医用图像。医用图像也可以包含拍摄了对象者的X射线图像、CT(Computed Tomography)图像、MRI(Magnetic Resonance Imaging)图像、PET(Positron Emission Tomography)图像以及超声波图像中的至少一个。在另一例中，对象者图像也可以是表示对象者的对象部位的形状(例如腹围、胸围、身高、肿胀、萎缩、关节角度及弯曲等)及外观(例如姿势、皱纹、斑点、发红、浑浊、发黑、泛黄等)中的至少任一者的图像。

此外，预测系统为了生成预测图像，除了对象者图像以外，还使用与第二时间点的对象部位相关的第一预测信息。

第一预测信息也可以是第二时间点的与对象者的对象部位的症状相关的信息。在这种情况下，第一预测信息也可以包含表示从第一时间点起半年后、1年后、5年后、10年后以及50年后等多个时间点的对象者的对象部位的症状的信息。第一预测信息例如是包括与在对象者的对象部位产生的可能性高的症状和产生该症状的时期、以及对象者的对象部位的症状的进展程度相关的预测的信息。

第一预测信息也可以是与第二时间点的对象者的对象部位的形状以及外观中的至少任意一个相关的信息。在这种情况下，也可以是表示从第一时间点起半年后、1年后、5年后、10年后以及50年后等多个时间点的对象者的对象部位的形状(例如腹围、胸围、以及身高等)以及外观(例如姿势、皱纹、斑点等)中的至少任意一个的信息。

第一预测信息可以是与对象部位的疾病相关联的、与该对象部位的形状以及外观中的至少任意一个相关的信息。第一预测信息作为在对象者的对象部位产生变化的可能性高的信息，也可以包含下述那样的信息。(i)作为与肥胖症相关的信息，第一预测信息例如可以包含与体重、体格指数(BMI)、腹围、内脏脂肪量、血压、血糖值、脂质、尿酸值、肝功能数值等相关的信息，(ii)作为与脱发症相关的信息，第一预测信息例如也可以包含与毛发根数、性激素数值、Norwood分类、Ludwig分类等相关的信息，(iii)作为与白内障相关的信息，第一预测信息例如也可以包含与视力、视野的宽度、浑浊程度、Emery-Little分类等相关的信息，(iv)作为与牙周病相关的信息，第一预测信息例如也可以包含与疼痛·肿胀的程度、残留齿数、牙龈炎指数、牙周袋深度等相关的信息，(v)作为与类风湿性关节炎相关的信息，第一预测信息例如也可以包含与疼痛的程度、肿胀的程度、关节角度、关节可动范围、Larsen分类、Stein blocker分类等相关的信息，(vi)作为与赫巴登氏结节相关的信息，第一预测信息例如也可以包含与疼痛的程度、肿胀的程度、关节可动范围等相关的信息，(viii)作为与拇趾外翻相关的信息，也可以包含与疼痛的程度、肿胀的程度、关节可动范围、HV角、M1-M2角等相关的信息，(viii)作为与退行性关节炎(osteoarthritis)相关的信息，第一预测信息例如也可以包含与疼痛的程度、肿胀的程度、关节角度、关节可动范围、僵硬的程度、关节的软骨的厚度、Kellgren-Laurence(K-L)分类、跛行的有无等相关的信息，(ix)在退行性脊椎病(degenerative spondylosis)的情况下，第一预测信息例如也可以包含与疼痛的程度、脊椎的弯曲的程度、脊椎的可动范围、K-L分类等相关的信息、(x)作为与压迫骨折相关的信息，第一预测信息例如也可以包含与疼痛的程度、脊椎的可动范围等相关的信息，(xi)作为与肌肉萎缩症相关的信息，第一预测信息例如也可以包含与肌肉量、步行速度、握力等相关的信息。

这样，预测系统基于拍摄第一时间点的对象者的对象部位的对象者图像和从第一时间点起经过了给定期间的第二时间点的与对象部位相关的第一预测信息，生成并输出预测了第二时间点的对象部位的状态的预测图像。

预测系统能够将第二时间点的对象部位的状态作为视觉上容易理解的预测图像输出。此外，预测图像是从作为对象者本人的图像的对象者图像生成的，因此是对该对象者具有说服力的真实的图像。因而，例如，如果从负责对象者的医生等向对象者提示，则能够使对象者本人识别第二时间点的对象部位的状态，使该对象者容易地理解介入的必要性。

预测图像也可以是模仿拍摄了对象者的全身、头部、上半身、下半身、上肢以及下肢中的某一个的外观图像的图像。在另一例中，预测图像也可以是在对象者的检查诊断的过程中得到的、模仿拍摄了对象者的对象部位的医用图像的图像。在另一例中，预测图像也可以是表示对象者的对象部位的形状(例如腹围、胸围、身高、肿胀、萎缩、关节角度以及弯曲等)以及外观(例如姿势、皱纹、斑点、发红、浑浊、发黑、泛黄等)中的至少任一者的图像。例如，在对象者图像是表示对象者的当前的皮肤的外观(例如皱纹、斑点、发红、浑浊、发黑、泛黄等)的外观图像、第一预测信息是与该对象者的将来的皮肤的皱纹的程度、斑点的程度、发红的程度、浑浊的程度、发黑的程度或泛黄的程度相关的信息的情况下，预测系统能够基于该对象者图像以及第一预测信息，将表示该对象者的将来的皮肤的外观的图像作为预测图像输出。例如，在对象者图像是表示对象者的当前的关节的角度的医用图像，第一预测信息是与该对象者的将来的关节的角度相关的信息的情况下，预测系统能够将下一个两个图像作为预测图像输出：(1)能够基于表示对象者的当前的关节的角度的医用图像、和该第一预测信息，将表示该对象者的将来的关节的角度的医用图像作为预测图像输出；(2)能够基于表示对象者的当前的关节的外观的外观图像、和该第一预测信息，将表示该对象者的将来的关节的外观的图像作为预测图像输出。

(预测系统100的结构)

接下来，使用图1对具备预测装置1的预测系统100的结构进行说明，该预测装置1取得对象者图像以及第一预测信息，基于第一预测信息，从对象者图像生成预测图像并输出。在本公开的一个实施方式中，预测系统100的预测装置1能够单独地作为上述的预测系统发挥功能。图1是表示导入了预测装置1的医疗设施5中的预测系统100的结构例的框图。

如图1所示，预测系统100具备预测装置1和能够通信地与预测装置1连接的一个以上的终端装置2。这样，预测系统100也可以具备预测装置1和能够提示从预测装置1输出的预测图像的装置(例如终端装置2)。

预测装置1是以下计算机：取得对象者图像以及第一预测信息，基于第一预测信息，从对象者图像生成预测图像并输出，将该预测图像发送到终端装置2。如图1所示，预测装置1也可以与医疗设施5的LAN连接。关于预测装置1的结构，在后面进行说明。

终端装置2从预测装置1接收预测图像，并提示该预测图像。终端装置2也可以是医疗设施5所属的医生等医疗相关人员使用的计算机等。如图1所示，终端装置2也可以与医疗设施5的LAN连接。终端装置2例如也可以是个人计算机、平板终端、智能手机等。终端装置2具有与其他装置进行数据发送接收的通信部、键盘以及麦克风等输入部、能够显示预测图像的显示部等。

在预测系统100中，预测装置1和终端装置2分开设置，但预测装置1和终端装置2也可以是一体的。例如，预测装置1也可以具有能够显示预测图像的显示部，由此具备终端装置2的功能。

预测系统100还可以具备第一预测信息管理装置3、对象者图像管理装置4以及电子病历管理装置9。

第一预测信息管理装置3是作为用于管理第一预测信息的服务器发挥功能的计算机。如图1所示，第一预测信息管理装置3也可以与医疗设施5的LAN连接。在这种情况下，预测装置1也可以从第一预测信息管理装置3取得对象者的第一预测信息。

对象者图像管理装置4是作为用于管理对象者图像的服务器而发挥功能的计算机。对象者图像管理装置4也可以是对在医疗设施5中接受了与对象部位的状态相关的检查诊断的对象者进行拍摄而得到的图像。在一例中，对象者图像也可以是在医疗设施5内拍摄到的医用图像。对象者图像管理装置4例如也可以与医疗设施5内的X射线摄像装置等摄影装置可通信地连接。在这种情况下，在对象者图像管理装置4中，例如也可以经由LAN记录由该摄影装置拍摄到的图像。如图1所示，对象者图像管理装置4也可以与医疗设施5的LAN连接。在这种情况下，预测装置1也可以从对象者图像管理装置4取得对象者图像。

电子病历管理装置9是作为用于管理在医疗设施5中接受了检查诊断的对象者的电子病历信息的服务器而发挥功能的计算机。如图1所示，电子病历管理装置9也可以与医疗设施5的LAN连接。在这种情况下，预测装置1也可以从电子病历管理装置9取得与对象者相关的基础信息。基础信息是电子病历信息中包含的信息，也可以包含对象者的性别、年龄、身高、体重、以及表示该对象者的第一时间点的对象部位的状态的信息中的至少一个。

在图1中，示出了在医疗设施5内配设有LAN(local area network：局域网)，预测装置1、终端装置2、第一预测信息管理装置3、对象者图像管理装置4、以及电子病历管理装置9与LAN连接的例子，但并不限定于此。例如，医疗设施5内的网络也可以应用互联网、电话通信线路网络、光纤通信网络、电缆通信网络以及卫星通信网络等。医疗设施5内的LAN也可以与外部的通信网络能够通信地连接。在这种情况下，例如，终端装置2也可以是患者使用的计算机等。

在预测系统100中，预测装置1、终端装置2、第一预测信息管理装置3、对象者图像管理装置4以及电子病历管理装置9中的至少一个也可以不经由LAN而直接连接。此外，能够与预测装置1进行通信的终端装置2、第一预测信息管理装置3、对象者图像管理装置4以及电子病历管理装置9的数量也可以是多个。进而，在预测系统100中，也可以导入多个预测装置1。

(预测系统100a的结构)

预测装置1也可以不是设置于给定的医疗设施5的计算机，而是经由通信网络6能够通信地与配设在多个医疗设施5的各个中的LAN连接。图2是表示本公开的另一方式涉及的预测系统100a的结构例的框图。

图2所示的预测系统100a具备：医疗设施5a；医疗设施5b；经由通信网络6能够通信地与医疗设施5a以及5b的各装置连接的预测装置1；以及能够通信地与预测装置1连接的第一预测信息管理装置3。

医疗设施5a具备能够分别通信地连接的终端装置2a、对象者图像管理装置4a以及电子病历管理装置9a。另一方面，医疗设施5b具备能够分别通信地连接的终端装置2b、对象者图像管理装置4b以及电子病历管理装置9b。以下，在不特别区分终端装置2a和2b以及医疗设施5a和5b的情况下，分别记为“终端装置2”以及“医疗设施5”。

在图2中，示出了医疗设施5a以及医疗设施5b的LAN与通信网络6连接的例子。预测装置1只要经由通信网络6能够通信地与各医疗设施内的装置连接即可，并不限定于图2所示的结构。例如，也可以在医疗设施5a内或者医疗设施5b内设置预测装置1以及第一预测信息管理装置3。

采用这样的结构的预测系统100a也可以具有设置于医疗设施5a的第一预测信息管理装置3a和设置于医疗设施5b的第一预测信息管理装置3b。在这种情况下，预测装置1能够从医疗设施5a的第一预测信息管理装置3a以及对象者图像管理装置4a分别取得第一预测信息以及对象者Pa的对象者图像。而且，预测装置1能够向设置于医疗设施5a的终端装置2a发送预测了对象者Pa的对象部位的状态的预测图像。预测装置1能够从医疗设施5b的第一预测信息管理装置3b以及对象者图像管理装置4b分别取得第一预测信息以及对象者Pb的对象者图像。而且，预测装置1能够向设置于医疗设施5b的终端装置2b发送预测了对象者Pb的对象部位的状态的预测图像。

在这种情况下，在各对象者的第一预测信息以及对象者图像中，只要包含对分别检查诊断各对象者的每个医疗设施5赋予的各医疗设施5固有的识别信息、以及对每个对象者赋予的各对象者固有的识别信息即可。各医疗设施5所固有的识别信息例如也可以是设施ID。此外，作为各对象者所固有的识别信息，例如也可以是患者ID。预测装置1能够基于这些识别信息，将预测了对象者的对象部位的状态的预测图像正确地发送给该对象者接受了检查诊断的各医疗设施5的终端装置2。

(预测系统100、100a的结构)

接下来，使用图3对预测系统100、100a的结构进行说明。图3是表示根据本公开的一个方式涉及的预测系统100、100a的结构的一例的框图。为了便于说明，对于具有与已经说明的构件相同的功能的构件，标注相同的附图标记，不重复其说明。

图3所示的预测系统100、100a具备预测装置1、能够通信地与预测装置1连接的一个以上的终端装置2、第一预测信息管理装置3、以及对象者图像管理装置4。

(预测装置1的结构)

预测装置1具备统一地控制预测装置1的各部的控制部7、以及存储控制部7使用的各种数据的存储部8。控制部7具备预测信息取得部71、预测图像生成部72以及输出控制部73。在存储部8中保存有用于进行预测装置1的各种控制的程序即控制程序81。

<预测信息取得部71>

预测信息取得部71从对象者图像管理装置4取得对象者图像，从第一预测信息管理装置3取得第一预测信息。对象图像以及第一预测信息是输入到预测图像生成部72的输入数据。

关于对象者图像以及第一预测信息，以几种疾病为例进行说明。例如，在疾病为肥胖症的情况下，对象者图像可以是拍摄当前的对象者的全身或腹部的图像，第一预测信息也可以是与该对象者的体重、BMI、腹围、内脏脂肪量、血压、血糖值、脂质、尿酸值或肝功能数值相关的信息。例如，在疾病为脱发症的情况下，对象者图像是拍摄当前的对象者的全身或者头部的图像，第一预测信息也可以是与该对象者的毛发根数、性激素数值、Norwood分类或者Ludwig分类相关的信息。例如，在疾病为白内障的情况下，对象者图像是拍摄到当前的对象者的头部(脸)或眼部的图像，第一预测信息也可以是与该对象者的视力、视野、眼睛的晶状体的浑浊程度或Emery-Little分类相关的信息。例如，在疾病为牙周病的情况下，对象者图像是拍摄到当前的对象者的头部(脸)或口腔部的图像，第一预测信息也可以是与该对象者的牙齿或牙龈的疼痛的程度、牙齿或牙龈的肿胀的程度、残存齿数、牙龈炎指数或牙周袋深度相关的信息。在疾病为牙周病的情况下，对象者图像可以是拍摄有张开的嘴的图像，也可以是拍摄到闭合的嘴的图像。例如，在疾病为类风湿性关节炎的情况下，对象者图像是拍摄了对象者的当前的全身、上肢或者下肢的图像，第一预测信息也可以是与该对象者的全身、上肢或者下肢的、疼痛的程度、肿胀的程度、关节角度、关节可动范围、Larsen分类或者Stein blocker分类相关的信息。例如，在疾病是赫巴登氏结节的情况下，对象者图像是拍摄了对象者的当前的手部的图像，第一预测信息也可以是与该对象者的手部的疼痛的程度、肿胀的程度或者关节可动范围相关的信息。例如，在疾病为拇趾外翻的情况下，对象者图像是拍摄了对象者的当前的脚部的图像，第一预测信息也可以是与该对象者的脚部的、疼痛的程度、肿胀的程度、关节可动范围、HV角或者M1-M2角相关的信息。例如，在疾病为退行性关节炎的情况下，对象者图像是拍摄了对象者的当前的全身、上肢或者下肢的图像，第一预测信息也可以是与该对象者的全身、上肢或者下肢的、疼痛的程度、肿胀的程度、关节角度、关节可动范围或者K-L分类相关的信息。例如，在疾病为退行性脊椎病的情况下，对象者图像是拍摄了对象者的当前的全身、颈部、胸部或者腰部的图像，第一预测信息也可以是与该对象者的脊椎的弯曲的程度、脊椎的可动范围或者K-L分类相关的信息。例如，在疾病为压迫骨折的情况下，对象者图像是拍摄了对象者的当前的全身或者腰部的图像，第一预测信息也可以是与该对象者的脊椎的弯曲的程度、脊椎的可动范围或者K-L分类相关的信息。例如，在疾病为肌肉萎缩症的情况下，对象者图像是拍摄了对象者的当前的全身、上肢或者下肢的图像，第一预测信息也可以是与该对象者的肌肉量相关的信息。对象者图像也可以是在各疾病的诊疗中拍摄的医用图像。例如，在疾病为膝关节炎的情况下，对象者图像是拍摄到当前的对象者的膝关节的X射线图像，第一预测信息也可以是2年后的该对象者的胫骨和大腿骨所成的角度相关的信息。

<预测图像生成部72>

预测图像生成部72基于第一预测信息，从对象者图像生成并输出预测了第二时间点的对象部位的状态的预测图像。预测图像生成部72也可以生成模仿在预测图像的生成中使用的对象者图像的至少一部分的图像。此外，由预测图像生成部72生成的预测图像也可以是表示在对象部位产生的疾病对该对象部位造成的影响的图像。所生成的预测图像也可以包含与在第二时间点未从第一时间点变化的对象者的部位相关的图像。即，预测图像也可以包含与从第一时间点到第二时间点变化的部位相关的图像和与从第一时间点到第二时间点没有变化的部位相关的图像。

预测图像生成部72也可以具有任意的公知的图像编辑功能以及动画编辑功能。在这种情况下，预测图像生成部72在将对象者图像变换为能够编辑的文件形式之后，对该对象者图像实施基于第一预测信息的变更，由此生成预测图像。例如，在对象者图像是当前的对象者的下肢的图像，作为第一预测信息是与2年后的该对象者的胫骨和大腿骨所成的角度相关的信息的情况下，首先，预测图像生成部72将对象者图像变换为给定的文件形式。预测图像生成部72只要基于第一预测信息来变更在变换文件形式后的对象者图像中拍摄的胫骨与大腿骨所成的角度，生成预测图像即可。

预测图像生成部72也可以具有能够使用对象者图像以及第一预测信息生成预测图像的预测图像生成模型。在此，预测图像生成模型也可以是使用拍摄了对象部位的多个图像数据作为训练数据而学习到的神经网络。例如，作为预测图像生成模型，也可以应用卷积神经网络(CNN：convolutional neural network)、对抗生成网络(GAN：generativeadversarial network)、或者自动编码器等。

预测图像生成部72将对象者图像以及第一预测信息输入到预测图像生成模型，并输出预测图像。预测图像生成部72输出从预测图像生成模型输出的(即，由预测图像生成部72生成的)预测图像。

预测图像生成模型是在预测图像生成部72基于输入数据进行运算时使用的运算模型。通过对预测图像生成部72所具有的神经网络执行后述的机器学习，生成预测图像生成模型。

<输出控制部73>

输出控制部73将从预测图像生成部72输出的预测图像发送到终端装置2。输出控制部73也可以将用于生成该预测图像的对象者图像以及第一预测信息中的至少任意一个与预测图像一起发送给终端装置2。

预测装置1也可以是具备显示部(未图示)的结构。在这种情况下，输出控制部73也可以使显示部显示预测图像。在这种情况下，输出控制部73可以将用于生成该预测图像的对象图像以及第一预测信息中的至少任一者与预测图像一起显示在显示部上。

通过具备具有预测图像生成模型的预测图像生成部72，预测系统100、100a能够生成并输出使第二时间点的对象部位的状态反映于对象者图像的、真实的预测图像。由此，预测系统100、100a能够使对象者明确地识别自身的第二时间点的对象部位的状态。

在一例中，学习完毕的预测图像生成模型也可以预先安装于预测装置1。或者，预测装置1还可以具备进行预测图像生成部72的学习处理的第一学习部74。

<第一学习部74>

第一学习部74控制针对预测图像生成部72所具有的神经网络的学习处理。

(预测图像生成模型的学习处理)

以下，使用图4对用于生成应用了对抗生成网络(GAN)的预测图像生成模型的学习处理进行说明。图4是表示预测图像生成部72所具有的神经网络的结构的一例的图。

如图4所示，应用了对抗生成网络的预测图像生成模型具有生成器网络(以下记为生成器721)和识别器网络(以下记为识别器722)这2个网络。生成器721能够根据第一预测信息以及对象者图像，生成看起来像实物图像的图像，作为预测图像。另一方面，识别器722能够区分来自生成器721的图像数据(伪图像)和来自后述的第一学习用数据集82的实物的图像。

首先，第一学习部74从存储部8取得对象者图像以及第一预测信息，并将它们输入到生成器721。

生成器721根据对象者图像以及第一预测信息生成预测图像候选(伪图像)。生成器721也可以参照第一学习用数据集82中包含的实物的图像，生成预测图像候选。

在此，第一学习用数据集82是用于生成预测图像生成模型的机器学习所使用的数据。第一学习用数据集82也可以包含用于成为生成器721尽可能忠实地再现的目标的任意的实物的图像。例如，第一学习用数据集82也可以包含过去拍摄到的实物的医用图像。在此，医用图像例如也可以包含拍摄了多个患者各自的对象部位的X射线图像数据、CT图像数据、MRI图像数据、PET图像数据以及超声波图像数据中的至少一个。

第一学习用数据集82也可以包含第一学习数据和第一训练数据。第一学习数据例如是与对象者图像同种的数据、以及与第一预测信息同种的数据。“与对象者图像同种的数据”是将与在对象者图像中拍摄的对象部位相同的对象部位从相同的角度拍摄而得到的图像数据，是指医用图像或外观图像等图像的种类相同的图像数据。“与第一预测信息同种的数据”是指，在第一预测信息是与疾病相相关的对象部位的形状以及与外观相相关的信息的情况下，与相同的疾病相关的相同对象部位的形状以及与外观相关的信息。第一训练数据是与预测图像同种的数据，是与第一学习数据相比经过了时间的同一人的数据。第一训练数据是与作为第一学习数据的“第一预测信息同种的数据”相关的数据。“与预测图像同种的数据”是指从相同角度拍摄到与预测图像中拍摄的对象部位相同的对象部位的图像数据，是指医用图像或者外观图像等图像的种类相同的图像数据。

接下来，第一学习部74将由生成器721生成的预测图像候选以及第一学习用数据集82所包含的实物的图像输入到识别器722。

识别器722将来自第一学习用数据集82的实物的图像和由生成器721生成的预测图像候选作为输入，对各图像输出其是实物的图像的概率。

第一学习部74计算表示识别器722输出的概率是正确到何种程度的分类误差。第一学习部74使用误差反向传播法，反复改善识别器722以及生成器721。此时，识别器722的权重和偏差被更新为使分类误差最小化(即，使识别性能最大化)。另一方面，生成器721的权重和偏差被更新为使得分类误差最大化(即，识别器722使预测图像候选最大化与实物的图像不同的概率)。

第一学习部74更新识别器722的权重和偏差以及生成器721的权重和偏差，直到识别器722输出的概率满足给定的基准为止。由此，预测图像生成部72能够生成不与实物区分开的预测图像。

(预测系统100、100a所进行的处理)

以下，使用图5对预测系统100、100a所进行的处理的流程进行说明。图5是表示本实施方式涉及的预测系统100、100a所进行的处理的流程的一例的流程图。

首先，预测信息取得部71在步骤S1中取得对象者图像和第一预测信息(输入数据)(预测信息取得步骤)。

接下来，与输入了对象者图像以及第一预测信息相应地，预测图像生成部72在步骤S2中生成预测图像，输出该预测图像(预测图像生成步骤)。

〔实施方式2〕

以下对本发明的其他实施方式进行说明。为了便于说明，对于具有与在上述实施方式中说明的构件相同的功能的构件，标注相同的附图标记，不重复其说明。

上述实施方式涉及的预测系统100、100a具备从第一预测信息管理装置3取得第一预测信息的预测装置1，但并不限定于此。例如，也可以是预测装置1A生成第一预测信息的结构。使用图6对具备这样的预测装置1A的预测系统100、100a的结构进行说明。图6是表示本公开的另一实施例所涉及的预测系统100和100a的结构的一例的框图。

(预测装置1A的结构)

预测装置1A具备统一控制预测装置1A各部的控制部7A、以及存储控制部7A使用的各种数据的存储部8。除了预测信息取得部71、预测图像生成部72以及输出控制部73之外，控制部7A还包括预测信息生成部75。

在图6中，表示了预测装置1A具备第一学习部74的例子，但并不限定于此。在一例中，学习完毕的预测图像生成模型也可以预先安装于预测装置1A。

<预测信息生成部75>

预测信息生成部75从拍摄有第一时间点的对象者的对象部位的对象者图像，生成从第一时间点经过了给定期间的第二时间点的、与对象部位相关的第一预测信息，并向预测信息取得部71输出该第一预测信息。

预测信息生成部75也可以具有能够根据对象者图像来推断第一预测信息的预测信息生成模型。预测信息生成模型是能够根据对象者的对象者图像和该对象者的基础信息来推断第一预测信息的模型。在此，预测信息生成模型也可以是将与具有对象部位的疾病的患者相关的患者信息用作为训练数据来学习的神经网络。例如，作为预测信息生成模型，也可以应用卷积神经网络(CNN：convolutional neural network)、重构神经网络(RNN：recurrent neural network)以及LSTM(Long Short-Term Memory：长期演进网络)等。

患者信息例如是包含表示在过去的多个时间点取得的各患者的对象部位的状态的状态信息，并且将每个患者的所述状态信息与表示取得了该状态信息的时间点的信息建立关联的信息。

预测信息生成部75将与对象者图像相关的数据输入到预测信息生成模型，并输出第一预测信息。预测信息生成部75输出从预测信息生成模型输出的(即，由预测信息生成部75生成的)第一预测信息。

预测信息生成模型是在预测信息生成部75基于输入数据进行运算时使用的运算模型。通过对预测信息生成部75所具有的神经网络执行后述的机器学习，生成预测信息生成模型。

以下，以应用神经网络作为预测信息生成模型的情况为例，使用图7进一步说明预测信息生成部75的结构。图7是表示预测信息生成部所具有的神经网络的结构的一例的图。

如图7所示，预测信息生成部75具备输入层751以及输出层752。预测信息生成部75对输入到输入层751的输入数据进行基于预测信息生成模型的运算，并从输出层752输出预测信息。

图7的预测信息生成部75具备输入层751和输出层752的神经网络。神经网络只要是适于处理时间序列信息的神经网络即可。例如，只要是LSTM等即可。神经网络也可以是适于复合处理时间序列信息和位置信息的神经网络。例如，只要是将CNN和LSTM组合而成的ConvLSTM网络等即可。输入层751能够提取输入数据的时间变化的特征量。输出层752可以基于由输入层751提取的特征量、输入数据的时间变化以及初始值来计算新的特征量。输入层751以及输出层752具有多个LSTM层。输入层751以及输出层752分别可以具有3个以上的LSTM层。

输入到输入层751的输入数据例如可以是表示从拍摄第一时间点的对象者的对象部位的对象者图像中提取出的特征量的参数。在这种情况下，预测信息生成部75能够输出与从第一时间点起经过了给定期间的第二时间点的对象部位相关的第一预测信息。

作为第一预测信息，预测信息生成部75例如输出从第一时间点起经过了给定期间的第二时间点的与对象者的对象部位相关的疾病的发生或进展程度的预测结果。具体而言，预测信息生成部75例如输出对象者的第二时间点的各疾病的症状的程度、各疾病中的分类、以及表示该对象部位需要侵入治疗的时期的信息等作为第一预测信息。在此所示的第一预测信息是一个例子，不限定于这些。

此外，预测信息生成部75也可以基于上述的第一预测信息，输出表示对象者的QOL的信息作为第三预测信息。具体而言，预测信息生成部75输出与作为第三预测信息而在对象者的对象部位发生的疼痛相关的信息、与对象者的灾难性思维相关的信息、与对象者的运动能力相关的信息、表示所述对象者的生活满意度的信息、以及对象者的对象部位的僵硬的程度等信息中的至少任意一个。

表示对象者的QOL的信息是包括下述中的至少一个的信息。

·与在对象者的对象部位发生的疼痛相关的信息

·与对象者的灾难性思维相关的信息

·与对象者的运动能力相关的信息

·表示所述对象者的生活满意度的信息。

表示对象者的QOL的信息也可以包含与该对象者的(1)身体功能、(2)日常作用功能(身体)、(3)身体的疼痛、(4)整体的健康感、(5)活力、(6)社会生活功能、(7)日常角色功能(精神)、(8)心的健康相关的信息。

与QOL相关的信息例如可以包含SF-36(36-Item.Short-Form Health Survey)、VAS(Visual analog scale)、NEI VFQ-25(The 25-item National Eye Institute VisualFunction Questionnaire)、GOHAI(General Oral Health Assessment Index)、WOMAC(Western Ontario and McMaster Universities Osteoarthritis Index)、RDQ(Roland-Morris Disability Questionnaire)等信息。

预测信息生成部75生成预测图像生成部72为了生成预测图像而使用的第一预测信息的至少一部分即可。在这种情况下，剩余的第一预测信息也可以由预测信息取得部71从第一预测信息管理装置3取得。

(预测系统100、100a所进行的处理)

以下，使用图8对第二实施方式的预测系统100、100a所进行的处理的流程进行说明。图8是表示第二实施方式的预测系统100、100a所进行的处理的流程的一例的流程图。

首先，预测信息生成部75在步骤S11中取得对象者图像(输入数据)(图像取得步骤)。

接下来，与输入了对象者图像相应地，预测信息生成部75在步骤S12中生成第一预测信息，并将该第一预测信息输出到预测信息取得部71(第一预测步骤)。

然后，预测信息取得部71将从(a)预测信息生成部75取得的第一预测信息和(b)从对象者图像管理装置4在第一预测信息的取得之前取得、或者在取得第一预测信息的同时或者取得后取得的对象者图像(输入数据)输入到预测图像生成部72(未图示)。

接下来，与输入了对象者图像以及第一预测信息相应地，预测图像生成部72在步骤S13中生成预测图像，输出该预测图像(预测图像生成步骤)。

〔变形例〕

在预测装置1A中，预测信息生成部75基于对象者图像生成第一预测信息。与此相对，在实施方式2的本变形例所涉及的预测装置1B中，预测信息生成部75B除了对象者图像以外还基于基础信息生成第一预测信息。使用图9对具备这样的预测装置1B的预测系统100、100a的结构进行说明。图9是表示本公开的另一方式涉及的预测系统100、100a的结构的一变形例的框图。预测装置1B在控制部7B中还具有预测信息生成部75B。

预测装置1B具备统一控制预测装置1B各部的控制部7B以及存储控制部7B使用的各种数据的存储部8B。除了预测信息取得部71、预测图像生成部72以及输出控制部73之外，控制部7B还具备预测信息生成部75B以及基础信息取得部76。

根据上述结构，预测装置1B能够基于在第一时间点拍摄到的对象者图像，生成与在第二时间点在对象部位可能产生或产生的症状接近的症状相关的信息、即精度更高的第一预测信息。其结果，预测装置1B能够生成表示在第二时间点能够在对象部位产生或接近所产生的症状的症状的图像、即表示精度更高的预测信息的预测图像。

<基础信息取得部76>

基础信息取得部76从电子病历管理装置9取得与对象者相关的信息即基础信息。电子病历管理装置9是作为用于管理在医疗设施5或医疗设施5以外的医疗设施中接受了检查诊断的对象者的电子病历信息的服务器而发挥功能的计算机。电子病历信息中也可以包含对象者的基础信息以及问诊信息。基础信息是除了对象者图像之外还输入到预测信息生成部75B的输入数据。

基础信息是包含对象者的性别、年龄、身高、体重、以及表示该对象者在所述第一时间点的所述对象部位的状态的信息中的至少一个的信息。基础信息可以还包含与所述对象者的BMI、人种、职业历史、运动历史、对象部位相关的疾病的既往史、与对象部位的形状以及外观相关的信息、生物标记信息、以及基因信息中的至少一种。此外，基础信息例如也可以包含与对象者的对象部位相关的疾病的症状的程度等信息。基础信息例如也可以包含对象者的电子病历信息等所包含的信息。基础信息可以是通过在医疗设施5等中实施的问诊而从对象者取得的问诊信息，例如，也可以包含与对象者的第一时间点的QOL相关的信息。

根据以上的结构，预测装置1B除了对象者图像以外，还能够从电子病历管理装置9取得对象者的基础信息，并向设置于医疗设施5a的终端装置2a发送预测了对象者Pa的对象部位的状态的预测图像。预测装置1B除了对象者图像以外，还能够从电子病历管理装置9取得对象者的基础信息，并向设置于医疗设施5b的终端装置2b发送预测了对象者Pb的对象部位的状态的预测图像。

在一例中，学习完毕的预测信息生成模型也可以预先安装于预测装置1B。或者，预测装置1B也可以还具备进行预测信息生成部75B的学习处理的第二学习部77。

<第二学习部77>

第二学习部77控制针对预测信息生成部75B所具有的神经网络的学习处理。该学习中使用后述的第二学习用数据集83。稍后将描述由第二学习部77进行的学习的具体例。

(预测信息生成模型的学习处理)

以下，使用图10对用于生成应用了神经网络的预测信息生成模型的学习处理进行说明。图10是表示预测信息生成部75B所具有的神经网络的学习处理的流程的一例的流程图。

首先，第二学习部77从存储部8B取得第二学习用数据集83所包含的第二学习数据(步骤S21)。在第二学习数据中包含有多个患者的患者图像。

接下来，第二学习部77决定某个患者(步骤S22)。

接下来，第二学习部77将第二学习数据中包含的时间点A的患者的患者图像输入到输入层751(步骤S23)。输入层751可以从输入的患者图像中提取表示特征量的参数。

接下来，第二学习部77取得与来自输出层752的患者的对象部位的症状相关的输出数据(步骤S24)。该输出数据包含与第二训练数据相同的内容。

接下来，第二学习部77取得第二学习用数据集83所包含的第二训练数据。然后，第二学习部77将取得的输出数据与第二训练数据中包含的表示时间点B的患者的对象部位的状态的状态信息进行比较，计算误差(步骤S25)。

之后，第二学习部77调整预测信息生成模型，以使该误差变小(步骤S26)。

预测信息生成模型的调整可以应用任意的公知的方法。例如，作为预测信息生成模型的调整方法，也可以采用误差反向传播法。调整后的预测信息生成模型成为新的预测信息生成模型，在以后的运算中，预测信息生成部75B使用新的预测信息生成模型。在预测信息生成模型的调整阶段中，能够调整在预测信息生成部75B中使用的参数。

参数包括例如在输入层751和输出层752中使用的参数。具体而言，参数中包含由输入层751和输出层752的LSTM层使用的加权系数。此外，参数中也可以包含滤波器系数。

第二学习部77在误差未收敛于给定的范围内的情况下、以及未输入第二学习用数据集83所包含的全部患者的患者图像的情况下(在步骤S27中为否)，变更患者(步骤S28)，进而返回步骤S23，反复进行学习处理。第二学习部77在误差收敛于给定的范围内的情况下、以及已输入第二学习用数据集83所包含的全部患者的患者图像的情况下(在步骤S27中为“是”)，结束学习处理。

<第二学习用数据集83>

第二学习用数据集83是用于生成预测信息生成模型的机器学习所使用的数据。第二学习用数据集83也可以包含与具有对象部位的疾病的患者相关的患者信息。在此，患者信息也可以是包含表示在过去的多个时间点取得的各患者的对象部位的状态的状态信息，并且将每个患者的所述状态信息与表示取得了该状态信息的时间点的信息建立关联的信息。第二学习用数据集83包含被用作输入数据的第二学习数据和用于计算预测信息生成部75B输出的第一预测信息的误差的第二训练数据。

第二学习数据例如也可以包含拍摄有多个患者各自的对象部位的图像数据。用作第二学习数据的图像数据也可以是拍摄多个患者各自的、全身、上半身、下半身、上肢以及下肢中的任一个的图像数据。用作第二学习数据的图像数据也可以是拍摄有多个患者各自的对象部位的医用图像数据。该医用图像数据例如也可以包含拍摄了多个对象者各自的对象部位的X射线图像数据、CT图像数据、MRI图像数据、PET图像数据以及超声波图像数据中的至少一个。第二学习数据是与对象者图像同种的数据。第二训练数据是与第一预测信息同种的数据。

第二训练数据也可以包含表示拍摄了患者图像的时间点的各患者的对象部位的状态的状态信息、以及与该对象部位相关的症状信息。在此，状态信息也可以包含与对象部位的症状的进展相关的信息。此外，在此，症状信息也可以包含与对象部位的疾病的发生时期相关的信息。

第二学习用数据集83也可以是第二学习数据与第二训练数据成为一体的数据。即，第二学习用数据集83也可以是将从多个患者的每一个过去在多个时间点取得的、患者图像与表示拍摄该患者图像的时间点的对象部位的状态的状态信息建立对应的时间序列数据。例如，第二学习用数据集83也可以包含表示从某个时间点以及某个时间点起1年后的以下那样的信息中提取出的特征量的参数。

例如，在疾病为肥胖症的情况下，第二学习用数据集83也可以包括体重、BMI、腹围、内脏脂肪量、血压、血糖值、脂质、尿酸值或肝功能数值等。例如，在疾病为脱发症的情况下，第二学习用数据集83也可以包括毛发根数、性激素数值、Norwood分类或者Ludwig分类等。例如，在疾病为白内障的情况下，第二学习用数据集83也可以包括视力、视野、眼睛的推荐的浑浊程度或Emery-Little分类等。例如，在疾病为牙周病的情况下，第二学习用数据集83也可以包括牙齿或牙龈疼痛的程度、牙齿或牙龈肿胀的程度、剩余齿数、牙龈炎指数或牙周袋深度等。例如，在疾病为类风湿性关节炎的情况下，第二学习用数据集83也可以包括对象者的全身、上肢或下肢的疼痛的程度、肿胀的程度、关节角度、关节可动范围、Larsen分类或Stein blocker分类等。例如，在疾病为赫巴登氏结节的情况下，第二学习用数据集83也可以包括对象者的手部的疼痛的程度、肿胀的程度或关节可动范围等。例如，在疾病为拇趾外翻的情况下，第二学习用数据集83也可以包括对象者的脚部的疼痛的程度、肿胀的程度、关节可动范围、HV角或M1-M2角等。例如，在疾病为退行性关节炎的情况下，第二学习用数据集83也可以包括对象者的全身、上肢或下肢的疼痛的程度、肿胀的程度、关节角度、关节可动范围、僵硬的程度、关节的软骨的厚度、K-L分类或跛行的有无等。例如，在疾病为退行性脊椎病的情况下，第二学习用数据集83也可以包括疼痛的程度、脊椎的弯曲的程度、脊椎的可动范围或K-L分类等。例如，在疾病为压迫骨折的情况下，第二学习用数据集83也可以包括疼痛的程度或脊椎的可动范围等。例如，在疾病为肌肉萎缩症的情况下，也可以包括肌肉量、步行速度或握力等。

此外，第二学习用数据集83也可以包含表示该对象者的属性的参数。对象者的属性例如是各对象者的性别、年龄、身高、体重。在第二学习用数据集83是时间序列数据的情况下，第二学习部77也可以将某个时间点的对象者图像用作第二学习数据，将从某个时间点起给定的期间后的对象者图像以及与拍摄该对象者图像的时间点的对象部位的症状相关的信息以及与对象者相关的信息用作第二训练数据。

第二学习用数据集83也可以在时间序列数据中包含与多个对象者各自的QOL相关的信息。例如，也可以包含SF-36、VAS等信息。具有通过使用了这样的第二学习用数据集83的机器学习而生成的预测信息生成模型的预测信息生成部75B也能够从对象者的对象者图像输出与第二时间点的对象者的QOL相关的信息。

具体而言，在预测信息生成部75B的学习时使用的输入数据是在第二学习数据中包含的、(a)在某个时间点A中的对象者的对象部位被拍摄到的对象者图像。预测信息生成部75B基于上述的输入数据，输出与从时间点A经过了给定的期间(例如3年)的时间点B的对象部位相关的第一预测信息作为输出数据。具体而言，预测信息生成部75B输出例如对象者的时间点B的对象部位周围的角度、对象部位的增大及缩小的程度、对象部位的皱纹以及斑点的程度、对象部位发生疼痛的时期以及程度、以及表示该对象部位需要侵入治疗的时期的信息等作为输出数据。在此所示的输出数据是一个例子，不限定于此。

在预测信息生成部75B使用基础信息作为输入数据的情况下，第二学习部77也可以在进行预测信息生成部75B的学习时，除了某个时间点A中的拍摄了对象者的对象部位的对象者图像以外，还将大概对象者的症状信息以及属性信息作为第二学习数据输入到预测信息生成部75B。

(预测系统100、100进行的处理)

以下，使用图11对具备预测装置1B的预测系统100、100a所进行的处理的流程进行说明。图11是表示本实施方式涉及的预测系统100、100a所进行的处理的流程的一例的流程图。

首先、预测信息生成部75B在步骤S31中，取得对象者图像(输入数据)以及基础信息(输入数据)(图像以及信息取得步骤。

接下来，与输入了对象者图像以及基础信息相应地，预测信息生成部75B在步骤S32中生成第一预测信息，并将该第一预测信息输出到预测信息取得部71(第一预测步骤)。

然后，预测信息取得部71将从(a)预测信息生成部75B取得的第一预测信息和(b)从对象者图像管理装置4在第一预测信息的取得之前取得、或者在取得第一预测信息的同时或者取得后取得的对象者图像(输入数据)输入到预测图像生成部72(未图示)。

接下来，与输入了对象者图像以及第一预测信息相应地，预测图像生成部72在步骤S33中生成预测图像，输出该预测图像(预测图像生成步骤)。

〔第三实施方式〕

以下对本公开的其他实施方式进行说明。为了便于说明，对于具有与在上述实施方式中说明的构件相同的功能的构件，标注相同的附图标记，不重复其说明。

在预测系统100、100a中，也可以具备输出预测了存在针对对象部位的介入的情况下的第二时间点的对象部位的状态的预测图像、以及向对象者的介入的方法以及该介入的效果的功能。使用图12对具备这样的功能的预测装置1C进行说明。图12是表示根据本公开的另一方式涉及的预测系统100、100a的结构的一例的框图。

在此，对介入的方法的具体例进行说明。例如，在疾病为肥胖症的情况下，介入的方法也可以包括生活指导、食物疗法、药物疗法、运动疗法、外科的疗法(吸脂、胃切除术、胃束带术等)等。例如，在疾病为脱发症的情况下，介入的方法也可以包括生活指导、食物疗法、药物疗法、外科的疗法(植发术)、假发的穿戴等。例如，在疾病为白内障的情况下，介入的方法也可以包括药物疗法、运动疗法、外科的疗法(白内障摘除术、人工晶状体植入术等)等。例如，在疾病为牙周病的情况下，介入的方法也可以包括口腔护理指导、药物疗法、矫正疗法、外科的疗法(牙周形成术、植入物治疗等)、假牙的使用等。例如，在疾病为类风湿性关节炎的情况下，介入的方法也可以包括药物疗法、外科的疗法(截骨术、关节置换术)。例如，在疾病是赫巴登氏结节的情况下，介入的方法也可以包括药物疗法等。例如，在疾病为拇趾外翻的情况下，介入的方法也可以包括鞋子指导、运动疗法、支具疗法、药物疗法、外科的疗法(截骨术、融合术、关节置换术等)等。例如，在疾病为退行性关节炎的情况下，介入的方法也可以包括运动疗法、支具疗法、药物疗法、康复、外科的疗法(关节内注射、关节镜手术、截骨、融合术、关节置换术等)等。例如，在疾病为退行性脊椎病的情况下，介入的方法也可以包括运动疗法、支具疗法、药物疗法、外科的疗法(脊柱内固定手术等)等。例如，在疾病为压迫骨折的情况下，介入的方法也可以包括支具疗法、药物疗法、外科的疗法(脊柱内固定手术等)等。例如，在疾病为肌肉萎缩症的情况下，介入的方法也可以包括生活指导、食物疗法、药物疗法、运动疗法等。

(预测装置1C的结构)

预测装置1C具备统一控制预测装置1的各部的控制部7C、以及存储控制部7C使用的各种数据的存储部8C。控制部7C除了包括预测信息取得部71、预测图像生成部72C、输出控制部73C、第一学习部74、预测信息生成部75B、基础信息取得部76以及第二学习部77以外，还具备介入效果预测部78以及第三学习部79。

在图12中，表示了具备第一学习部74、第二学习部77以及第三学习部79的预测装置1C，但并不限定于此。预测装置1C可以具备第一学习部74、第二学习部77以及第三学习部79中的任一个(或者全部)，也可以不具备任一个(或者全部)。

例如，预测装置1C也可以不具备第一学习部74。在这种情况下，学习完毕的预测图像生成模型预先安装于预测装置1C即可。或者，预测装置1C也可以不具备第二学习部77。在这种情况下，学习完毕的预测信息生成模型预先安装于预测装置1C即可。或者，预测装置1C也可以不具备第三学习部79。在这种情况下，学习完毕的介入效果预测模型(后述)预先安装于预测装置1C即可。

在存储部8C中，除了用于进行预测装置1C的各种控制的程序即控制程序81、第一学习用数据集82以及第二学习用数据集83以外，还可以保存后述的第三训练数据84以及介入信息85。

在图12中，表示了在存储部8C中保存有控制程序81、第一学习用数据集82、第二学习用数据集83、第三训练数据84以及介入信息85的预测装置1C，但并不限定于此。可以在预测装置1C的存储部8C中保存控制程序81、第一学习用数据集82、第二学习用数据集83、第三训练数据84以及介入信息85中的任一个(或者全部)，也可以不保存任一个(或者全部)。

<预测图像生成部72C>

预测图像生成部72C将对象者图像、第一预测信息以及第二预测信息输入到预测图像生成模型，并输出预测图像。预测图像生成部72C输出从预测图像生成模型输出的(即，由预测图像生成部72C生成的)预测图像。

<输出控制部73C>

输出控制部73C将从预测图像生成部72C输出的预测图像发送到终端装置2。如图12所示，输出控制部73C也可以将用于生成该预测图像的对象者图像、第一预测信息以及第二预测信息中的至少任意一个与预测图像一起发送给终端装置2。

<介入效果预测部78>

介入效果预测部78根据从第一时间点起经过了给定期间的第二时间点的、与对象部位相关的第一预测信息，输出表示向对象者的介入的方法以及表示该介入的效果的第二预测信息。介入效果预测部78也可以具有能够根据第一预测信息来推断第二预测信息的介入效果预测模型。

介入效果预测模型是在介入效果预测部78基于输入数据进行运算时使用的运算模型。作为介入效果预测模型，只要是能够根据第一预测信息推断第二预测信息的运算模型，则其他结构没有特别限定。

介入效果预测模型可以是神经网络，例如也可以是具备输入层以及输出层的学习完毕的神经网络。更具体而言，介入效果预测模型也可以是将效果信息用作训练数据而学习的神经网络。

例如，效果信息包含表示在过去的多个时间点取得的各患者的对象部位的状态的状态信息，并且是将每个患者的所述状态信息与表示应用于各患者的介入的介入信息85建立关联的信息。效果信息也可以包含从过去应用了介入的多个患者中的各个患者过去在多个时间点取得的、与各患者的状态信息相关的时间序列数据。

在介入效果预测模型为学习完毕的神经网络的情况下，介入效果预测部78根据第一预测信息作为输入数据输入到输入层的情况，基于介入效果预测模型进行运算，将第二预测信息作为输出数据从输出层输出。

第二预测信息例如是表示介入的种类的信息以及表示介入的效果的信息。介入的效果是表示应用介入的情况下的第二时间点的对象者的对象部位的症状的信息。或者，介入的效果也可以是表示通过应用介入而与未应用介入的情况相比第二时间点的与对象者的对象部位相关的疾病的症状得到改善的程度或者症状的进展被抑制的程度的信息。第二预测信息也可以包含表示应用介入的时期(介入时期)的信息。

作为一例，介入效果预测部78也可以构成为从第一预测信息中提取特征量，并作为输入数据来使用。在该特征量的提取中，可以应用以下列举的公知的算法。

·卷积神经网络(CNN：convolutional neural network)

·自动编码器(auto encoder)

·重构神经网络(RNN：recurrent neural network)

·LSTM(Long Short-Term Memory)。

以下，以介入效果预测部78是作为介入效果预测模型的神经网络的情况为例，使用图7进一步说明介入效果预测部78的结构。图7所示的结构是一个例子，介入效果预测部78的结构不限定于此。

如图7所示，介入效果预测部78具备输入层781以及输出层782。介入效果预测部78从预测信息生成部75B取得第一预测信息，作为输入到输入层781的输入数据来使用。介入效果预测部78也可以进一步取得对象者图像，作为输入数据使用。介入效果预测部78也可以从基础信息取得部76取得基础信息，作为将该基础信息输入到输入层781的输入数据来使用。介入效果预测部78对输入到输入层781的输入数据进行基于介入效果预测模型的运算，并从输出层782输出预测图像。

如图7所示，介入效果预测部78具备输入层781与输出层782的神经网络。神经网络只要是适于处理时间序列信息的神经网络即可。例如，只要是LSTM等即可。神经网络也可以是适于复合处理时间序列信息和位置信息的神经网络。例如，只要是将CNN和LSTM组合而成的ConvLSTM网络等即可。输入层781能够提取输入数据的时间变化的特征量。输出层782可以基于由输入层781提取的特征量、输入数据的时间变化以及初始值来计算新的特征量。输入层781以及输出层782具有多个LSTM层。输入层781以及输出层782分别可以具有3个以上的LSTM层。

通过对介入效果预测部78所具有的神经网络执行后述的机器学习，生成介入效果预测模型。

输入到输入层781的输入数据例如也可以是表示从与从第一时间点起经过了给定期间的第二时间点的对象部位相关的第一预测信息中提取出的特征量的参数。或者，输入数据也可以是表示后述的介入信息85所包含的介入的方法的信息。在介入效果预测部78作为输入数据而利用介入信息85的情况下，介入效果预测部78能够从介入信息85所包括的介入方法中选择至少一个，并输出对该介入的效果进行了预测的第二预测信息。

与上述的输入数据被输入到输入层781相应地，从输出层782输出表示向对象者介入的方法以及表示该介入的效果的第二预测信息。

第二预测信息例如也可以是表示在第二时间点应用了该介入的情况下的与对象者的对象部位相关的疾病的症状得到改善的程度或者该症状的进展被抑制的程度的信息。更具体而言，介入效果预测部78也可以输出下述所示的信息作为第二预测信息。

·对象部位周围的角度接近正常的角度多少。

·对象部位的增大以及缩小接近正常的大小多少。

·对象部位的褶皱以及斑点被缓和几％左右。

·对象部位的状态维持多少。

·步行能力(包括爬楼梯能力)改善了多少。

第二预测信息是与第一预测信息同种的数据。例如，在疾病为肥胖症的情况下，第二预测信息也可以是与该对象者的体重、BMI、腹围、内脏脂肪量、血压、血糖值、脂质、尿酸值或者肝功能数值相关的信息。例如，在疾病是脱发症的情况下，第二预测信息也可以是与该对象者的毛发根数、性激素数值、Norwood分类或者Ludwig分类相关的信息。例如，在疾病为白内障的情况下，第二预测信息也可以是与该对象者的视力、视野、眼睛的晶状体的浑浊程度或Emery-Little分类相关的信息。例如，在疾病为牙周病的情况下，第二预测信息可以是与该对象者的牙齿或牙龈疼痛的程度、牙齿或牙龈肿胀的程度、剩余齿数、牙龈炎指数或牙周袋深度相关的信息。例如，在疾病是类风湿性关节炎的情况下，第二预测信息也可以是与该对象者的全身、上肢或下肢的疼痛程度、肿胀的程度、关节角度、关节可动范围、Larsen分类或Stein blocker分类相关的信息。例如，在疾病为赫巴登氏结节的情况下，第二预测信息也可以是与该对象者的手部的疼痛的程度、肿胀的程度或者关节可动范围相关的信息。例如，在疾病为拇趾外翻的情况下，第二预测信息也可以是与该对象者的腿部的疼痛的程度、肿胀的程度、关节可动范围、HV角或者M1-M2角相关的信息。例如，在疾病为退行性关节炎的情况下，第二预测信息也可以是与该对象者的全身、上肢或者下肢的疼痛的程度、肿胀的程度、关节角度、关节可动范围或K-L分类相关的信息。例如，在疾病为退行性脊椎病的情况下，第二预测信息也可以是与该对象者的脊椎的弯曲的程度、脊椎的可动范围或者K-L分类相关的信息。例如，在疾病是压迫骨折的情况下，第二预测信息也可以是与该对象者的脊椎的弯曲程度、脊椎的可动范围或者K-L分类相关的信息。例如，在疾病为肌肉萎缩症的情况下，第二预测信息也可以是与该对象者的肌肉量相关的信息。

<介入信息85>

介入信息85是关于介入效果预测部78推断效果的介入的信息。作为推断效果的介入信息85，例如可举出限制体重、温热治疗、超声波疗法、支具的穿戴、或者补品的摄取等非侵袭性的治疗。此外，作为介入信息85，也可以推断基于外科的疗法等侵袭性的治疗的效果。

(预测图像生成部72C所具有的神经网络的学习处理)

以下，使用图13对用于生成应用了对抗生成网络(GAN)的预测图像生成模型的学习处理进行说明。图13是表示预测图像生成部72C所具有的神经网络的结构的一例的图。如图13所示，应用了对抗生成网络的预测图像生成模型具有生成器721C和识别器722C这2个网络。

首先，第一学习部74从存储部8C取得对象者图像以及第一预测信息，并将它们输入到生成器721C。此外，第一学习部74将由介入效果预测部78生成的第二预测信息输入到生成器721C。

生成器721C根据对象者图像、第一预测信息以及第二预测信息生成预测图像候选(伪图像)。生成器721C也可以参照第一学习用数据集82中包含的实物的图像，生成预测图像候选。

接下来，第一学习部74将由生成器721C生成的预测图像候选以及第一学习用数据集82所包含的实物的图像输入到识别器722C。

识别器722C将来自第一学习用数据集82的实物的图像和由生成器721C生成的预测图像候选作为输入，对各图像输出其是实物的图像的概率。

第一学习部74计算表示识别器722C输出的概率正确到何种程度的分类误差。第一学习部74使用误差反向传播法，反复改善识别器722C以及生成器721C。

第一学习部74更新识别器722C的权重和偏差以及生成器721C的权重和偏差，直到识别器722C输出的概率满足给定的基准。由此，预测图像生成部72C能够生成不与实物区分开的预测图像。

<第三学习部79>

第三学习部79控制针对介入效果预测部78所具有的神经网络的学习处理。该学习中使用第三训练数据84。

在此，第三训练数据84是用于生成介入效果预测模型的机器学习所使用的数据。第三训练数据84包括用作输入数据的第三学习用输入数据和用于计算介入效果预测部78输出的第一预测信息的误差的第三训练用数据。

第三学习用输入数据例如也可以包括应用了介入的多个患者各自的、表示应用了该介入的时期的信息、拍摄有各患者的对象部位的患者图像、以及与拍摄了各患者的患者图像的时间点的对象部位的症状的发生或者进展相关的症状信息。

第三训练用数据也可以包括与在第三学习用输入数据中使用的患者图像被拍摄的时间点相比靠后(例如1年后)的时间点的拍摄该患者的对象部位的患者图像、以及与该患者的对象部位的症状的发生或者进展相关的症状信息。第三训练用数据也可以包括与拍摄患者图像的时间点的各患者的对象部位相关的症状信息。在此，症状信息也可以包括与患者的疾病的发生时期或者症状的进展相关的信息。

第三训练数据84可以是包括表示在过去的多个时间点取得的各患者的对象部位的状态的状态信息、并且将每个患者的所述状态信息与表示应用于各患者的介入的介入信息建立关联的信息、即效果信息。第三训练数据84也可以是从过去应用了介入的多个患者中的各个患者，将在多个时间点取得的、患者图像与拍摄该患者图像的时间点的与对象部位的症状相关的信息建立对应的时间序列数据。

<介入效果预测模型的学习处理>

以下，参照图7对用于生成应用了神经网络的介入效果预测模型的学习处理进行说明。图14是表示介入效果预测部78所具有的神经网络的学习处理的流程的一例的流程图。

首先，第三学习部79从存储部8C取得第三训练数据84所包括的第三学习用输入数据(步骤S41)。在第三学习用输入数据中，例如包含：(a)表示应用了介入的多个患者各自的、应用了该介入的时期的信息；(b)拍摄各患者的对象部位的患者图像的像素数据；以及(c)与拍摄各患者的患者图像的时间点的对象部位的症状的发生或者进展相关的症状信息。

接下来，第三学习部79决定某个患者(步骤S42)。

接下来，第三学习部79将第三学习用输入数据中包含的、(a)应用了介入的患者的表示应用了该介入的时期的信息、(b)拍摄有某患者的对象部位的患者图像的像素数据、以及(c)某患者的患者图像被拍摄的时间点的对象部位的症状的发生或者进展相关的症状信息输入到输入层781(步骤S43)。

接下来，第三学习部79从输出层782取得表示向某患者的介入的方法以及该介入的效果中的至少任意一个的信息即输出数据(步骤S44)。该输出数据包含与第三训练用数据相同的内容。

接下来，第三学习部79取得第三训练数据84所包含的第三训练用数据。然后，第三学习部79将取得的输出数据与第三训练用数据中包括的表示对某患者的介入的方法以及表示该介入的效果的信息进行比较，计算误差(步骤S45)。

然后，第三学习部79调整介入效果预测模型，使得该误差变小(步骤S46)。

介入效果预测模型的调整能够应用任意的公知的方法。例如，作为介入效果预测模型的调整方法，也可以采用误差反向传播法。调整后的介入效果预测模型成为新的介入效果预测模型，在以后的运算中，介入效果预测部78使用新的介入效果预测模型。在介入效果预测模型的调整阶段中，能够调整介入效果预测部78中使用的参数。

参数包括例如在输入层781和输出层782中使用的参数。具体而言，参数中包括由输入层781和输出层782的LSTM层使用的加权系数。此外，参数中也可以包含滤波器系数。

第三学习部79在误差未收敛于给定的范围内的情况下、以及未输入第三训练数据84所包含的全部患者的患者图像的情况下(在步骤S47中为“否”)，变更患者(步骤S48)，进而返回步骤S43，反复进行学习处理。第三学习部79在误差收敛于给定的范围内的情况下、以及已输入第三训练数据84所包括的全部患者的患者图像的情况下(在步骤S47中为“是”)，结束学习处理。

<第三训练数据84>

第三训练数据84是用于生成介入效果预测模型的机器学习所使用的数据。第三训练数据84也可以包括表示在过去的多个时间点取得的表示各患者的对象部位的状态的状态信息，并且将每个患者的所述状态信息与表示应用于各患者的介入的介入信息建立关联的信息、即效果信息。第三训练数据84包括用作输入数据的第三学习用输入数据和用于计算介入效果预测部78输出的第一预测信息的误差的第三训练用数据。

第三学习用输入数据例如可以包括(a)应用了介入的患者的表示应用了该介入的时期的信息、(b)拍摄有某患者的对象部位的患者图像的像素数据、以及(c)与某个患者的患者图像被拍摄的时间点的对象部位的症状的发生或者进展相关的症状信息。用作第三学习用输入数据的图像数据也可以是拍摄有多个患者各自的对象部位的医用图像数据。该医用图像数据例如也可以包含拍摄了多个对象者各自的对象部位的X射线图像数据、CT图像数据、MRI图像数据、PET图像数据以及超声波图像数据中的至少一个。

第三训练用数据也可以包含拍摄了在第三学习用输入数据中使用的患者图像的时间点之后(例如1年后)的时间点的拍摄该患者的对象部位的患者图像、以及表示该患者的对象部位的状态的状态信息、以及与该对象部位相关的症状信息。第三训练用数据也可以是从过去应用了介入的多个患者中的各个患者，将在多个时间点取得的、患者图像与拍摄该患者图像的时间点的关节的症状相关的信息建立对应的时间序列数据。

具体而言，介入效果预测部78的学习时所使用的输入数据是包括于第三学习用输入数据中的、(a)某时间点A的对象者的对象部位被拍摄到的对象者图像。介入效果预测部78基于上述的输入数据，输出与从时间点A经过了给定的期间(例如3年)的时间点B的对象部位相关的第一预测信息作为输出数据。具体而言，介入效果预测部78输出例如对象者的时间点B的对象部位周围的角度、对象部位的增大以及缩小的程度、对象部位的皱纹以及斑点的程度、对象部位发生疼痛的时期以及程度、以及表示该对象部位需要侵入治疗的时期的信息等作为输出数据。在此所示的输出数据是一个例子，不限定于此。

具体而言，介入效果预测部78的学习时所使用的输入数据是表示第三训练数据84所包括的某个时间点B的与患者的对象部位相关的疾病的发生或进展程度的信息以及介入信息所包括的介入的方法的信息。介入效果预测部78基于上述的输入数据，作为输出数据，输出向对象者的介入的方法以及表示该介入的效果的信息。介入效果预测部78基于上述的输入数据，输出例如表示在时间点B的应用了该介入的情况下的与患者的对象部位相关的疾病的症状得到改善的程度或者该病状的进展被抑制的程度的信息作为输出数据。更具体而言，介入效果预测部78也可以输出前述的第二预测信息作为输出数据。

(预测系统100、100a所进行的处理)

以下，使用图15对预测系统100、100a所进行的处理的流程进行说明。图15是表示本实施方式涉及的预测系统100、100a所进行的处理的流程的一例的流程图。

首先，预测信息取得部71取得对象者图像。另一方面，基础信息取得部76取得基础信息(步骤S51：取得步骤)。

接下来，预测信息生成部75B根据输入了对象者图像以及基础信息的情况，生成第一预测信息，并将该第一预测信息输出到预测信息取得部71以及介入效果预测部78(步骤S52：第一信息预测步骤)。

接下来，介入效果预测部78参照介入信息85，选择介入信息85所包括的介入方法中的至少一个(步骤S53：介入方法选择步骤)。

进而，介入效果预测部78根据输入了第一预测信息的情况，生成关于所选择的介入方法的第二预测信息，并将该第二预测信息输出到预测图像生成部72C以及输出控制部73C(步骤S54：介入效果预测步骤)。

接下来，预测图像生成部72C根据输入了对象者图像、第一预测信息以及第二预测信息这一情况，生成预测图像，并将该预测图像向终端装置2输出(步骤S55：预测图像生成步骤)。

预测系统100、100a能够将第二时间点的、对象部位的状态根据介入的效果的有无而不同的情况作为视觉上容易理解的预测图像而输出。此外，预测图像是从作为对象者本人的图像的对象者图像生成的，因此是对该对象者具有说服力的真实的图像。因此，例如，如果从负责对象者的医生等向对象者提示，则能够使对象者有效地理解介入的必要性，从而提高针对对象者的介入的积极性。

〔基于软件的实现例〕

预测装置1、1A、1B、1C的控制模块(特别是控制部7、7A、7B、7C)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以通过软件来实现。

在后者的情况下，预测装置1、1A、1B、1C具备执行作为实现各功能的软件的程序的命令的计算机。该计算机具备例如一个以上的处理器，并且具备存储有上述程序的计算机可读取的记录介质。而且，在上述计算机中，上述处理器从上述记录介质读取并执行上述程序，由此实现本公开的目的。作为上述处理器，例如能够使用CPU(Central ProcessingUnit：中央处理部)。作为上述记录介质，除了“非暂时性的有形的介质”，例如ROM(ReadOnly Memory等以外，还能够使用带、盘、卡、半导体存储器、可编程的逻辑电路等。此外，也可以还具备展开上述程序的RAM(Random Access Memory)等。此外，上述程序也可以经由能够传输该程序的任意的传输介质(通信网络、广播波等)供给至上述计算机。本公开的一个方式也可以通过电子传输而将上述程序具体化的、被嵌入载波中的数据信号来实现。

以上，基于各附图以及实施例对本公开所涉及的发明进行了说明。但是，本公开所涉及的发明并不限定于上述的各实施方式。即，本公开所涉及的发明能够在本公开所示的范围内进行各种变更，将不同的实施方式中分别公开的技术手段适当组合而得到的实施方式也包括在本公开所涉及的发明的技术范围内。即，应该注意本领域技术人员容易基于本公开进行各种变形或者修正。此外，应当注意的是，这些变形或修改包括在本公开的范围内。

-附图标记说明-

1、1A、1B、1C预测装置

2、2a、2b终端装置

3、3a、3b第一预测信息管理装置

4、4a、4b对象者图像管理装置

5、5a、5b医疗设施

6通信网络

7、7A、7B、7C控制部

8、8B、8C存储部

9、9a、9b电子病历管理装置

71预测信息取得部

72、72C预测图像生成部

73、73C输出控制部

74第一学习部

75、75B预测信息生成部

76基础信息取得部

77第二学习部

78介入效果预测部

79第三学习部

81控制程序

82第一学习用数据集

83第二学习用数据集

84第三训练数据

85介入信息

100、100a预测系统

721、721C生成器

722、722C识别器

751、781输入层

752、782输出层。

Claims (20)

1.一种预测系统，具备：

预测信息取得部，取得(a)拍摄有第一时间点的对象者的对象部位的对象者图像、以及(b)从所述第一时间点经过了给定期间的第二时间点的与所述对象部位相关的第一预测信息；以及

预测图像生成部，根据所述第一预测信息以及所述对象者图像，生成并输出对所述第二时间点的所述对象部位的状态进行预测而得到的预测图像。

2.根据权利要求1所述的预测系统，其中，

所述预测图像生成部具有能够使用所述对象者图像以及所述第一预测信息生成所述预测图像的预测图像生成模型。

3.根据权利要求1或2所述的预测系统，其中，

所述预测图像是模仿所述对象者图像的至少一部分的图像。

4.根据权利要求1～3中任一项所述的预测系统，其中，

所述对象者图像是拍摄有所述对象部位的外观图像。

5.根据权利要求1～4中任一项所述的预测系统，其中，

所述对象者图像是拍摄有所述对象部位的医用图像。

6.根据权利要求5所述的预测系统，其中，

所述医用图像是拍摄了所述对象者的X射线图像、CT图像、MRI图像、PET图像以及超声波图像中的至少一个。

7.根据权利要求1～6中任一项所述的预测系统，其中，

所述对象者图像是对所述对象者的全身、头部、上半身、下半身、上肢以及下肢中的任一个进行拍摄而得到的图像。

8.根据权利要求1～7中任一项所述的预测系统，其中，

所述预测图像是预测了在所述对象部位产生的疾病对该对象部位造成的影响的图像。

9.根据权利要求8所述的预测系统，其中，

所述疾病包括肥胖症、脱发症、白内障、牙周病、类风湿性关节炎、赫巴登氏结节、拇趾外翻、退行性关节炎、退行性脊椎病、压迫性骨折以及肌肉萎缩症中的至少一种。

10.根据权利要求2所述的预测系统，其中，

所述预测图像生成模型是将拍摄有对象部位的多个图像数据用作为训练数据而学习的神经网络。

11.根据权利要求2或10所述的预测系统，其中，

所述预测图像生成模型是对抗生成网络或者自动编码器。

12.根据权利要求8或9所述的预测系统，其中，

所述第一预测信息是与所述对象部位的所述疾病相关联的所述对象部位的与形状以及外观相关的信息。

13.根据权利要求1～12中任一项所述的预测系统，其中，

所述预测系统还具备：

预测信息生成部，从所述对象者图像生成所述第一预测信息，并向所述预测信息取得部输出该第一预测信息，

所述预测信息生成部具有能够从所述对象者图像推断所述第一预测信息的预测信息生成模型。

14.根据权利要求13所述的预测系统，其中，

所述预测系统还具备：

基础信息取得部，取得基础信息，该基础信息包含所述对象者的性别、年龄、身高、体重、以及表示该对象者在所述第一时间点的所述对象部位的状态的信息中的至少一个，

所述预测信息生成模型能够根据所述对象者的对象者图像和该对象者的所述基础信息来推断所述第一预测信息。

15.根据权利要求13或14所述的预测系统，其中，

所述预测信息生成模型是将与具有对象部位的疾病的患者相关的患者信息用作为训练数据而学习的神经网络，

所述患者信息包括在过去的多个时间点取得的表示各患者的对象部位的状态的状态信息，并且是将每个患者的所述状态信息与表示取得了该状态信息的时间点的信息建立关联的信息。

16.根据权利要求1～15中任一项所述的预测系统，其中，

所述预测系统还具备：

介入效果预测部，将所述第一预测信息作为输入，输出表示向所述对象者介入的方法以及该介入的效果的第二预测信息。

17.根据权利要求16所述的预测系统，其中，

所述介入效果预测部具有将效果信息用作为训练数据而学习的神经网络，以作为介入效果预测模型，

所述效果信息包括在过去的多个时间点取得的表示各患者的对象部位的状态的状态信息，并且是将每个患者的所述状态信息与表示应用于各患者的介入的介入信息建立关联的信息。

18.根据权利要求16或17所述的预测系统，其中，

所述介入的方法包括食疗、运动疗法、药物疗法、支具疗法、康复以及外科疗法中的至少一种。

19.一种控制方法，是预测系统的控制方法，包括：

预测信息取得步骤，取得(a)拍摄有第一时间点的对象者的对象部位的对象者图像、以及(b)从所述第一时间点经过了给定期间的第二时间点的与所述对象部位相关的第一预测信息；以及

预测图像生成步骤，根据所述第一预测信息以及所述对象者图像，生成并输出对所述第二时间点的所述对象部位的状态进行预测而得到的预测图像，

所述预测系统具有能够使用所述对象者图像以及所述第一预测信息来生成所述预测图像的预测图像生成模型。

20.一种控制程序，是用于使计算机作为权利要求1至18中任一项所述的预测系统发挥功能的控制程序，

用于使计算机作为所述预测信息取得部以及所述预测图像生成部发挥功能。