发明内容
本发明提供一种视频图像处理方法、装置、电子设备及存储介质,用以解决现有技术中存在的缺陷。
本发明提供一种视频图像处理方法,包括:
确定双端视频通话中患者终端采集的视频图像;
基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域;
将所述视频图像以及所述关注区域发送至问诊医生对应的诊疗终端,以供所述诊疗终端基于所述关注区域对所述视频图像进行标记并展示。
根据本发明提供的一种视频图像处理方法,所述基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域,具体包括:
确定所述患者终端和/或所述诊疗终端采集的语音;
对所述语音对应的文本进行病灶关键词检测,若存在病灶关键词,则基于所述病情描述信息,对所述视频图像进行区域检测,得到所述关注区域;
其中,所述病灶关键词基于所述病情描述信息确定。
根据本发明提供的一种视频图像处理方法,所述基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域,具体包括:
基于所述病情描述信息,确定患者的候选病灶部位;
对所述视频图像中所述患者的身体部位进行识别,并基于识别的结果以及所述候选病灶部位,确定所述关注区域。
根据本发明提供的一种视频图像处理方法,所述基于所述病情描述信息,确定患者的候选病灶部位,具体包括:
提取所述病情描述信息中的病灶关键词,并将所述病灶关键词与预先构建的器官部位知识库中的结构化信息进行匹配;
基于匹配的结果,确定所述候选病灶部位。
根据本发明还提供一种视频图像处理方法,应用于诊疗终端,所述诊疗终端与患者终端均具有视频通话功能,所述方法包括:
接收所述患者终端采集的视频图像以及所述视频图像中所述诊疗终端对应的问诊医生的关注区域;所述关注区域基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测得到;
基于所述关注区域,对所述视频图像进行标记并展示。
根据本发明提供的一种视频图像处理方法,所述基于所述关注区域,对所述视频图像进行标记并展示,之后还包括:
接收问诊医生在所述视频图像中标记得到的标记区域的第一输入操作;
响应于所述第一输入操作,将所述标记区域进行尺寸调整,并将尺寸调整后的标记区域进行展示。
根据本发明提供的一种视频图像处理方法,所述基于所述关注区域,对所述视频图像进行标记并展示,之后还包括:
接收问诊医生在所述视频图像中标记得到的标记区域的第二输入操作;
响应于所述第二输入操作,将所述第二输入操作对应的输入信息添加至所述视频图像中。
本发明还提供一种视频图像处理装置,包括:图像确定模块、关注区域确定模块以及发送模块。其中,
图像确定模块用于确定双端视频通话中患者终端采集的视频图像;
关注区域确定模块用于基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域;
发送模块用于将所述视频图像以及所述关注区域发送至问诊医生对应的诊疗终端,以供所述诊疗终端基于所述关注区域对所述视频图像进行标记并展示。
本发明还提供一种视频图像处理装置,应用于诊疗终端,所述诊疗终端与患者终端均具有视频通话功能,所述装置包括:
接收模块,用于接收所述患者终端采集的视频图像以及所述视频图像中所述诊疗终端对应的问诊医生的关注区域;所述关注区域基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测得到;
展示模块,用于基于所述关注区域,对所述视频图像进行标记并展示。
本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述视频图像处理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述视频图像处理方法的步骤。
本发明提供的视频图像处理方法、装置、电子设备及存储介质,通过患者的病情描述信息自动确定出视频图像中问诊医生的关注区域,可以保证关注区域的准确检测。而且,将确定的关注区域连同视频图像一同发送至问诊医生对应的诊疗终端,可以保证诊疗终端在接收到关注区域时自动对视频图像进行标记并展示,为问诊医生的线上问诊提供便利。而且,患者只需要保证摄像头对准病灶部位即可,并不需要再拉近摄像头与病灶部位的距离或者对摄像头位置进行频繁调整,进而减少了诊疗终端展示的视频图像失焦不清晰、不稳定的情况出现,大幅度提高诊疗终端接收到的视频图像的稳定性,进而达到线上问诊的效果,提高了患者以及问诊医生的体验感。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于现有的视频图像展示方法中,当医生需要通过视频通话对患者眼部、舌象或者其它关注区域进行查看时,患者需要根据医生的指引调整摄像头位置,摄像头距离物体过近或者频繁调整都会导致向医生展示的视频图像失焦不清晰。而且,当屏幕硬件条件不高时,还会存在由于摄像头晃动而导致的显示的视频图像不稳定、不清晰的问题,进而导致医生无法看清关注区域的具体症状,难以达到线上问诊的效果。因此,本发明实施例中提供了一种视频图像处理方法,以解决现有技术中存在的技术问题。
图1为本发明实施例中提供饿一种视频图像处理方法的流程示意图,如图1所示,该方法包括:
S11,确定双端视频通话中患者终端采集的视频图像;
S12,基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域;
S13,将所述视频图像以及所述关注区域发送至问诊医生对应的诊疗终端,以供所述诊疗终端基于所述关注区域对所述视频图像进行标记并展示。
具体地,本发明实施例中提供的视频图像处理方法,其应用场景为患者与线上的问诊医生进行视频通话过程中的视频图像处理,其执行主体为服务器,既可以是本地服务器,也可以是云端服务器,本地服务器可以是计算机、平板电脑或者智能手机等,本发明实施例中对此不作具体限定。本发明实施例中提供的视频图像处理方法可以应用于互联网医院的线上问诊系统,该线上问诊系统可以通过患者终端或者问诊医生所在的诊疗终端进行访问。患者终端以及诊疗终端均可以是计算机、平板电脑或者智能电脑等。问诊医生可以是患者访问线上问诊系统并输入其病情症状信息、病史信息等信息后,由线上问诊系统展示并由患者选择的负责为该患者进行线上诊治的医生,或者由线上问诊系统直接推荐的负责为该患者进行线上诊治的医生。
首先执行步骤S11。确定双端视频通话中患者终端采集的视频图像,双端是指患者终端以及诊疗终端,患者终端采集的视频图像中包含有患者。患者终端采集到视频图像后,将该视频图像实时发送至服务器,即服务器可以实时确定患者终端采集的视频图像。
然后执行步骤S12。其中,患者终端对应的病情描述信息是指患者的病情描述信息,可以是患者的病情症状信息、病史信息以及预设时间段内患者在问诊医生所处科室的病历详情信息中的至少一项。病情症状信息和病史信息获取的途径可以是患者在确定问诊医生之前主动输入,或者患者在与问诊医生进行视频通话之前主动输入,病历详情信息可以是在线上问诊系统中得到。预设时间段的长度可以根据需要进行设置,例如可以设置为2周、1个月等。患者与问诊医生进行视频通话过程中的视频图像是指包含有患者以及问诊医生的视频图像,本发明实施例中对此不作具体限定。
根据病情描述信息,对视频图像进行区域检测,得到视频图像中问诊医生的关注区域,也即视频图像中的病灶位置,该关注区域是指患者的病灶部位在视频图像中所占区域。患者的病灶部位是指患者需要问诊医生进行看诊的身体部位,该身体部位可以包括胸部、头部等,身体部位还可以包括外部器官,例如左眼、右耳等。本发明实施例中可以分别对病情描述信息进行文本识别、对视频图像进行图像识别,然后将文本识别的结果以及图像识别的结果进行结合,最终确定出视频图像中的关注区域。关注区域可以通过坐标形式进行表示。
对于对视频图像进行区域检测的时机,可以在确定视频图像的同时对视频图像进行区域检测,也可以根据视频通话过程中的音频信息确定对视频图像进行区域检测的时机,本发明实施例中对此不作具体限定。
最后执行步骤S13。在步骤S12执行结束后,可以将视频图像以及视频图像中的关注区域发送至问诊医生对应的诊疗终端,以使诊疗终端对视频图像进行展示,并基于关注区域,在展示的视频图像中进行标记,即对视频图像中的关注区域进行标记。
本发明实施例中提供的视频图像处理方法,通过患者的病情描述信息自动确定出视频图像中问诊医生的关注区域,可以保证关注区域的准确检测。而且,将确定的关注区域连同视频图像一同发送至问诊医生对应的诊疗终端,可以保证诊疗终端在接收到关注区域时自动对视频图像进行标记并展示,为问诊医生的线上问诊提供便利。而且,患者只需要保证摄像头对准病灶部位即可,并不需要再拉近摄像头与病灶部位的距离或者对摄像头位置进行频繁调整,进而减少了诊疗终端展示的视频图像失焦不清晰、不稳定的情况出现,大幅度提高诊疗终端接收到的视频图像的稳定性,进而达到线上问诊的效果,提高了患者以及问诊医生的体验感。
在上述实施例的基础上,本发明实施例中提供的视频图像处理方法,所述基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域,具体包括:
确定所述患者终端和/或所述诊疗终端采集的语音;
对所述语音对应的文本进行病灶关键词检测,若存在病灶关键词,则基于所述病情描述信息,对所述视频图像进行区域检测,得到所述关注区域;
其中,所述病灶关键词基于所述病情描述信息确定。
具体地,本发明实施例中在确定视频图像中的关注区域时,可以先确定患者终端采集的语音以及诊疗终端采集的语音中的至少一种,然后对采集到的语音进行识别,得到语音信息,该音频信息可以是音频对应的文本。然后根据语音对应的文本进行病灶关键词检测,即判断语音中是否存在病灶关键词。如果存在病灶关键词,即认为患者和/或问诊医生在视频通话过程中提及患者的病灶部位的相关信息,此时可以对视频图像进行区域检测,进而得到视频图像中问诊医生的关注区域。
本发明实施例中所说的病灶关键词是指用于表征患者的病灶部位的相关信息的词语。例如患者的病灶部位为左眼,则病灶关键词可以为左眼、眼等。
本发明实施例中,通过确定患者终端和/或诊疗终端采集的语音,判断对视频图像进行区域检测的时机,可以保证只有在视频通话过程中病灶关键词时才进行区域检测,并得到视频图像中问诊医生的关注区域,不需要实时对视频图像进行区域检测,减少了区域检测的工作量,节约了服务器的存储空间。而且,可以保证诊疗终端适时展示标记区域,不会引起问诊医生的反感。
在上述实施例的基础上,本发明实施例中提供的视频图像处理方法,所述基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域,具体包括:
基于所述病情描述信息,确定患者的候选病灶部位;
对所述视频图像中所述患者的身体部位进行识别,并基于识别的结果以及所述候选病灶部位,确定所述关注区域。
具体地,本发明实施例中确定视频图像中的关注区域时,可以先根据病情描述信息,确定患者的候选病灶部位。候选病灶部位可以通过对病情描述信息进行文本识别得到。
然后对视频图像中患者的身体部位进行识别,可以分别对视频图像进行分割,以提取视频图像中的前景图像。提取前景图像时,需要进行特征的抽取和选择。因为视频图像是各式各样的,所以需要对视频图像所具有的本身特征进行识别,而获取这些特征的过程就是特征抽取。在特征抽取中所得到的特征也许对此次识别并不都是有用的,这个时候就要提取有用的特征,这就是特征的选择。
对视频图像中的前景图像进行分区,以得到前景图像中表征患者各个身体部位的分区图像。对各个分区图像进行分类,以得到各个分区图像对应的患者的身体部位。其中,分类可以通过分类器实现,通过训练而使分类器得到一种识别规则,通过此识别规则可以得到一种特征分类,使图像识别技术能够得到高识别率。分类决策是指在特征空间中对被识别对象进行分类,从而更好地识别被识别对象具体属于哪一类,最后可以以列表的形式输出对视频图像进行识别的结果。
对视频图像中患者的身体部位进行识别之前,可以先对视频图像进行预处理,预处理的操作包括去噪、平滑、变换等,从而加强视频图像的重要特征,便于对视频图像中患者的身体部位的识别。
根据识别的结果以及候选病灶部位确定出视频图像中的关注区域,可以首先确定出识别结果与候选病灶部位的交集,即确定出视频图像中包含的患者各身体部位与候选病灶部位的相同部分。交集在视频图像中所占区域即为关注区域。例如,识别的结果为头部、脸部、颈部、胸部以及眼、耳、口、鼻,候选病灶部位为左脸和左颈部,则交集为左脸和左颈部,因此患者的左脸和左颈部在视频图像中所占区域为关注区域。
本发明实施例中,通过对病情描述信息的文本识别以及对视频图像的图像识别相结合的方式,确定视频图像中问诊医生的关注区域,可以保证关注区域的准确定位,避免单独根据病情描述信息或者视频图像得到的关注区域的不准确性。
在上述实施例的基础上,本发明实施例中提供的视频图像处理方法,基于所述病情描述信息,确定患者的候选病灶部位,具体包括:
提取所述病情描述信息中的病灶关键词,并将所述病灶关键词与预先构建的器官部位知识库中的结构化信息进行匹配;
基于匹配的结果,确定所述候选病灶部位。
具体地,在根据病情描述信息确定患者的候选病灶部位时,可以先通过自然语言处理(Natural Language Processing,NLP)方法提取病情描述信息中的病灶关键词以及病灶关键词权重。
然后将病灶关键词与预先构建的器官部位知识库中的结构化信息进行匹配。器官部位知识库可以基于大数据构建,其中可以包括部位库以及外部器官库,部位库包含有身体部位信息,外部器官库包含有外部器官信息。在器官部位知识库中,身体部位信息以及外部器官信息均是结构化信息。在匹配之前可以先提取结构化信息的数据特征,本发明实施例中可以通过模糊匹配的方式对病灶关键词与结构化信息的数据特征进行匹配,也可以将病灶关键字与结构化信息的数据特征之间生成匹配模板,计算对应的词频和相似度,结合词频和相似度确定匹配结果。
最后根据匹配的结果确定出候选病灶部位,本发明实施例中可以直接将匹配的结果作为候选病灶部位。
本发明实施例中,通过提取病情描述信息中的病灶关键词,并将病灶关键词与预先构建的器官部位知识库中的结构化信息进行匹配,以确定候选病灶部位。可以使确定方法更加简单易行,得到的候选病灶部位更加准确。
如图2所示,在上述实施例的基础上,本发明实施例中提供了一种视频图像处理方法,应用于诊疗终端,所述诊疗终端与患者终端均具有视频通话功能,所述方法包括:
S21,接收所述患者终端采集的视频图像以及所述视频图像中所述诊疗终端对应的问诊医生的关注区域;所述关注区域基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测得到;
S22,基于所述关注区域,对所述视频图像进行标记并展示。
具体地,本发明实施例中提供的视频图像处理方法,其应用场景为患者与线上的问诊医生进行视频通话过程中,问诊医生对应的诊疗终端的视频图像处理,其执行主体为诊疗终端,该诊疗终端既可以是计算机、平板电脑或者智能手机等电子设备,本发明实施例中对此不作具体限定。该诊疗终端与患者对应的患者终端均具有视频通话功能,二者可以实现视频通话,以达到线上问诊的目的。
首先执行步骤S21。接收患者终端采集的视频图像以及视频图像中诊疗终端对应的问诊医生的关注区域。该视频图像由服务器发送,视频图像中的关注区域由服务器基于上述实施例中提供的视频处理方法,采用患者终端对应的病情描述信息,对所述视频图像进行区域检测得到,具体参见上述实施例,本发明实施例中此处不再赘述。
其次执行步骤S22。根据关注区域,对视频图像进行标记并展示。由于关注区域是指患者的病灶部位在视频图像中所占区域,则诊疗终端在接收关注区域之后,可以自动将视频图像中的关注区域进行标记,得到视频图像中的标记区域,使关注区域对应的病灶部位可以突出显示。标记的方式可以是设置矩形框,该矩形框内的图像区域即为标记区域,该标记区域内可以刚好包含视频图像中的病灶部位,也即标记区域与关注区域可以大小相等,或者标记区域略大于关注区域。
本发明实施例中,通过接收患者终端采集的视频图像以及视频图像中的关注区域,并根据关注区域,对视频图像进行标记并展示。可以更直观清楚的向问诊医生展示病灶部位,便于问诊医生对视频图像中的病灶部位进行查看。而且,患者只需要保证摄像头对准病灶部位即可,并不需要再拉近摄像头与病灶部位的距离或者对摄像头位置进行频繁调整,进而减少了诊疗终端展示的视频图像失焦不清晰、不稳定的情况出现,大幅度提高诊疗终端接收到的视频图像的稳定性,进而达到线上问诊的效果,提高了患者以及问诊医生的体验感。
在上述实施例的基础上,本发明实施例中提供的视频图像处理方法,所述基于所述关注区域,对所述视频图像进行标记并展示,之后还包括:
接收问诊医生在所述视频图像中标记得到的标记区域的第一输入操作;
响应于所述第一输入操作,将所述标记区域进行尺寸调整,并将尺寸调整后的标记区域进行展示。
具体地,在对视频图像中的标记区域进行展示之后,问诊医生可以在标记区域触发第一输入操作。第一输入操作可以是点击操作、单指滑动操作或者多指协同滑动操作。相应地,诊疗终端可以接收问诊医生在视频图像中的标记区域的第一输入操作,并可以响应于该第一输入操作,将标记区域的尺寸进行调整,可以将标记区域的尺寸调整为与诊疗终端的显示界面大小相同的尺寸,即将标记区域进行全屏展示。还可以将标记区域的尺寸进行适当放大或缩小,具体可以根据问诊医生的第一输入操作进行调整,本发明实施例中对此不作具体限定。
本发明实施例中,问诊医生可以实现对标记区域的尺寸调整,可以便于其对标记区域内的病灶部位进行查看。
在上述实施例的基础上,本发明实施例中提供的视频图像处理方法,所述将所述标记区域进行尺寸调整,具体包括:
从所述视频图像中截取所述标记区域;
将所述标记区域的分辨率进行向上转换;
将向上转换后的所述标记区域进行尺寸调整。
具体地,在对标记区域进行尺寸调整时,可以先将标记区域从视频图像中截取出来,然后将截取到的标记区域的分辨率进行向上转换。向上转换是指增加标记区域的图像像素数,使之可以与像素数更多的图像(例如HD图像)中的图像像素数相同,以提高标记区域的分辨率。然后再将向上转换后的标记区域进行尺寸调整,可以保证标记区域在尺寸放大的情况下依然清晰,以保证问诊医生的查看效果。
在上述实施例的基础上,本发明实施例中提供的视频图像处理方法,所述基于所述关注区域,对所述视频图像进行标记并展示,之后还包括:
接收患者在所述视频图像中标记得到的标记区域的第二输入操作;
响应于所述第二输入操作,将所述第二输入操作对应的输入信息添加至所述视频图像中。
具体地,在对视频图像中的标记区域进行展示之后,或者在对标记区域进行尺寸调整之后,问诊医生可以在标记区域触发第二输入操作。第二输入操作可以是通过双击操作触发的编辑窗口中的输入操作、通过编辑工具触发的编辑窗口中的输入操作或者通过编辑工具直接触发的输入操作。相应地,诊疗终端可以接收问诊医生在标记区域的第二输入操作,并可以响应于该第二输入操作,获取该第二输入操作对应的输入信息,该输入信息可以是问诊医生在编辑窗口输入的备注信息或者问诊医生通过编辑工具直接添加的辅助线条,本发明实施例中对此不作具体限定。然后将输入信息添加至视频图像中进行展示。
本发明实施例中,问诊医生可以在标记区域进行编辑,以添加备注或者辅助线条,可以便于其对标记区域内的病灶部位进行诊疗。
在上述实施例的基础上,本发明实施例中提供的视频图像处理方法,诊疗终端还可以将问诊医生在视频图像上操作后的界面发送至服务器,以使服务器将该界面转发至患者终端,以保证问诊医生在诊疗终端的操作结果可以同步展示在患者终端。
综上所述,本发明实施例中提供的视频图像处理方法,其完整步骤具体如下:
1)获取视频图像:
医患在线问诊视频沟通过程中,就需要实时获取患者终端采集的视频图像,视频图像可以直接通过患者终端安装的互联网即时通讯系统拍摄获取。
2)分析问诊医生需要检查的部位:
如图3所示,在进行在线问诊前,需要患者提交的与本次问诊相关的病情症状信息、病史信息后,线上问诊系统才会将订单信息提交给问诊医生。还可以查询此患者最近两周在线上问诊系统中相同科室就诊的病历详情信息。
对患者提交的包含有病情症状信息、病史信息以及预设时间段内患者在问诊医生所处科室的病历详情信息中的至少一项的病情描述信息进行NLP中文分词提取病灶关键词及其权重。提取已维护的包含有部位库和外部器官库的器官部位知识库中的结构化信息的数据特征。将提取的病灶关键词与器官部位知识库中的结构化信息的数据特征之间生成匹配模板,计算对应的词频和相似度,并确定候选病灶部位。
3)在视频图像中进行图像识别:
其实质是对视频图像进行信息获取,将视频图像中呈现出的图像进行分割、分区、分类。获取研究图像的基本信息并通过一些方法将其转变为机器能够认识的信息。
在此之前,先对视频图像进行预处理,主要是指在视频图像中进行图像处理,包括去噪、平滑、变换等的操作,从而加强图像的重要特征,以便于提取重要特征。
在模式识别中,排除多余的信息来识别视频图像。需要进行特征的抽取和选择。因为视频图像是各式各样的,所以需要通过这些视频图像所具有的本身特征来识别,而获取这些特征的过程就是特征抽取。在特征抽取中所得到的特征也许对此次识别并不都是有用的,这个时候就要提取有用的特征,这就是特征的选择。
4)将对视频图像进行识别的结果与候选病灶部位进行比对:
将视频图像识别的结果与候选病灶部位进行比对,相同的内容即作为视频图像中的病灶部位,将其所占区域作为问诊医生的关注区域。并将视频图像以及其中的关注区域发送至问诊医生对应的诊疗终端。
5)诊疗终端接收视频图像以及其中的关注区域,并在视频图像中进行标记,将关注区域对应的病灶部位标记在视频图像中。关注区域对应的病灶部位可以通过矩形框的形式标记在视频图像中,问诊医生可以放大查看标记区域的细节:
问诊医生点击(或选中)矩形框对应的视频图像中的标记区域后,诊疗终端可以将标记区域进行智能截取图像,并且填充至整个屏幕中;
问诊医生可以对标记区域的图像进行放大、缩小操作;
诊疗终端可以将标记区域的图像进行向上转换,以增加图像的高清度;
问诊医生可以通过编辑工具对标记区域的图像进行备注或增加辅助线条;
与此同时,问诊医生与患者可以继续进行视频通话;
在患者终端,患者可与问诊医生进行视频沟通,也可以查看问诊医生视角所看到的标记区域和备注内容、辅助线条等。
本发明实施例中提供的视频图像处理方法,可以将即时通讯中传输的固定视频画像进行图像识别和分析计算,让问诊医生可以根据推荐结果或自主选择的方式进行图像放大并且增加放大图像的高清度,以便查看图像中细节,降低在线问诊中视频图像呈现的短板,提升问诊医生体验。采用图像识别、智能推荐、视频图像放大等技术,通过检查部位推荐以及图像超高清放大的方式解决现有技术中存在的技术问题,大幅度提高问诊医生查看图像的清晰度和稳定度,提高了问诊医生以及患者的体验。
如图4所示,在上述实施例的基础上,本发明实施例中提供了一种视频图像处理装置,包括:图像确定模块41、关注区域确定模块42和发送模块43。其中,
图像确定模块41用于确定双端视频通话中患者终端采集的视频图像;
关注区域确定模块42用于基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域;
发送模块43用于将所述视频图像以及所述关注区域发送至问诊医生对应的诊疗终端,以供所述诊疗终端基于所述关注区域对所述视频图像进行标记并展示。
在上述实施例的基础上,本发明实施例中提供的视频图像处理装置,所述关注区域确定模块,具体用于:
确定所述患者终端和/或所述诊疗终端采集的语音;
对所述语音对应的文本进行病灶关键词检测,若存在病灶关键词,则基于所述病情描述信息,对所述视频图像进行区域检测,得到所述关注区域;
其中,所述病灶关键词基于所述病情描述信息确定。
在上述实施例的基础上,本发明实施例中提供的视频图像处理装置,所述关注区域确定模块,包括:
候选病灶部位确定子模块,用于基于所述病情描述信息,确定患者的候选病灶部位;
关注区域确定子模块,用于对所述视频图像中所述患者的身体部位进行识别,并基于识别的结果以及所述候选病灶部位,确定所述关注区域。
在上述实施例的基础上,本发明实施例中提供的视频图像处理装置,所述候选病灶部位确定子模块,具体用于:
提取所述病情描述信息中的病灶关键词,并将所述病灶关键词与预先构建的器官部位知识库中的结构化信息进行匹配;
基于匹配的结果,确定所述候选病灶部位。
具体地,本发明实施例中提供的视频图像处理装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的,实现的效果也是一致的,具体参见上述实施例,本发明实施例中对此不再赘述。
如图5所示,在上述实施例的基础上,本发明实施例中提供了一种视频图像处理装置,应用于诊疗终端,所述诊疗终端与患者终端均具有视频通话功能,视频图像处理装置包括:接收模块51和展示模块52。其中,
接收模块51用于接收所述患者终端采集的视频图像以及所述视频图像中所述诊疗终端对应的问诊医生的关注区域;所述关注区域基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测得到;
展示模块52用于基于所述关注区域,对所述视频图像进行标记并展示。
在上述实施例的基础上,本发明实施例中提供的视频图像处理装置,还包括:
第一输入操作接收模块,用于接收问诊医生在所述视频图像中标记得到的标记区域的第一输入操作;相应地,
展示模块还用于:响应于所述第一输入操作,将所述标记区域进行尺寸调整,并将尺寸调整后的标记区域进行展示。
在上述实施例的基础上,本发明实施例中提供的视频图像处理装置,所述展示模块,具体用于:
从所述视频图像中截取所述标记区域;
将所述标记区域的分辨率进行向上转换;
将向上转换后的所述标记区域进行尺寸调整。
在上述实施例的基础上,本发明实施例中提供的视频图像处理装置,还包括:
第二输入操作接收模块,用于接收问诊医生在所述视频图像中标记得到的标记区域的第二输入操作;
展示模块还用于:响应于所述第二输入操作,将所述第二输入操作对应的输入信息添加至所述视频图像中。
具体地,本发明实施例中提供的视频图像处理装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的,实现的效果也是一致的,具体参见上述实施例,本发明实施例中对此不再赘述。
图6示例了一种电子设备的实体结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行上述各实施例中提供的视频图像处理方法,该方法包括:确定双端视频通话中患者终端采集的视频图像;基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域;将所述视频图像以及所述关注区域发送至问诊医生对应的诊疗终端,以供所述诊疗终端基于所述关注区域对所述视频图像进行标记并展示。或者,该方法应用于诊疗终端,所述诊疗终端与患者终端均具有视频通话功能,所述方法包括:接收所述患者终端采集的视频图像以及所述视频图像中所述诊疗终端对应的问诊医生的关注区域;所述关注区域基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测得到;基于所述关注区域,对所述视频图像进行标记并展示。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各实施例中提供的视频图像处理方法,该方法包括:确定双端视频通话中患者终端采集的视频图像;基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域;将所述视频图像以及所述关注区域发送至问诊医生对应的诊疗终端,以供所述诊疗终端基于所述关注区域对所述视频图像进行标记并展示。或者,该方法应用于诊疗终端,所述诊疗终端与患者终端均具有视频通话功能,所述方法包括:接收所述患者终端采集的视频图像以及所述视频图像中所述诊疗终端对应的问诊医生的关注区域;所述关注区域基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测得到;基于所述关注区域,对所述视频图像进行标记并展示。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例中提供的视频图像处理方法,该方法包括:确定双端视频通话中患者终端采集的视频图像;基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测,得到所述视频图像中问诊医生的关注区域;将所述视频图像以及所述关注区域发送至问诊医生对应的诊疗终端,以供所述诊疗终端基于所述关注区域对所述视频图像进行标记并展示。或者,该方法应用于诊疗终端,所述诊疗终端与患者终端均具有视频通话功能,所述方法包括:接收所述患者终端采集的视频图像以及所述视频图像中所述诊疗终端对应的问诊医生的关注区域;所述关注区域基于所述患者终端对应的病情描述信息,对所述视频图像进行区域检测得到;基于所述关注区域,对所述视频图像进行标记并展示。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。