CN116230173B - 影像处理方法、装置及系统 - Google Patents

Abstract

本发明公开了影像处理方法、装置及系统，其中影像处理方法的步骤为：获取影像数据；遍历影像数据包含的所有帧并提取特殊帧，所述特殊帧对应的影像画面异于非特殊帧对应的影像画面；显示影像数据的时间轴及影像画面，并在特殊帧对应的时间轴上形成标记，所述标记可视、可交互。本发明在影像数据采集的源头对影像数据进行处理，使常规的影像数据携带上特殊的标记数据，也即对应特殊帧，该特殊帧在医学教学过程中即对应着能清楚看到病灶的画面，从而便于学生线上自主探索式学习过程中准确辨识出具有病灶的影像画面，对于医学实例的线上教学推广具有十分积极的作用。

Description

影像处理方法、装置及系统

技术领域

本发明属于影像处理技术领域，特别涉及影像处理方法、装置及系统。

背景技术

医学诊断通常需要借助诊断工具，尤其是西医学，例如显像系统可以帮助医生看到一下不容易看到地方，尤其是口腔医学中，大多需要采用显像系统来帮助诊断。

显像系统的发展不仅能帮助医学诊断，还能帮助教学分享，通过显像系统获取的医学影像信息能直观的向受众展示诊断位置的状况。随着网络信息的飞速发展，基于网络的异地教学也进一步推动医学的教学改革与发展。

但是基于现有的网络教学技术，还都是停留在课件的上传、下载，学生可以获取已经录制好的教学视频，但这种只适用于被动接受式的教学，很难适用于探索式教学。尤其是医学，没有多年的实践经验和知识积累，很难在一段影像中获取能清楚看到病灶的几帧画面，对于学生而言就更加难，因此这种传统的影像采集、处理方法应用场景还是局限于课堂播放、老师讲解的方式，难以应用于线上学生自主探索式的教学。

发明内容

本发明针对现有技术的问题，提供影像处理方法、装置及系统，具体技术方案如下：

本发明的目的之一，在于提供一种影像处理方法，包括如下步骤：

获取影像数据，本发明中，获取影像数据的方法为常用的数据下载方法，例如可以用户名加密码的方式登录验证后，从服务器云端下载；

遍历影像数据包含的所有帧并提取特殊帧，所述特殊帧对应的影像画面异于非特殊帧对应的影像画面；

显示影像数据的时间轴及影像画面，并在特殊帧对应的时间轴上形成标记，所述标记可视、可交互。

本发明的影像处理方法目的在于，在影像数据采集的源头对影像数据进行处理，使常规的影像数据携带上特殊的标记数据，也即对应特殊帧，该特殊帧在医学教学过程中即对应着能清楚看到病灶的画面，从而便于学生线上自主探索式学习过程中准确辨识出具有病灶的影像画面，对于医学实例的线上教学推广具有十分积极的作用。

优选的，所述影像数据被配置为具有关键轴，所述关键轴由影像数据采集同步形成，所述关键轴对应于影像数据的时间轴，所述关键轴上值为1的帧为特殊帧。影像数据的采集通常由影像科医师来完成，影像科医师对于影像的了解十分深刻，当在影像采集过程中发现病灶的时候，影像科医师可以迅速且娴熟的识别，此时影像科医师的操作对于特殊帧的形成重用十分重大，其可以清楚地标记出该帧。

优选的，所述关键轴的形成方法为：

设定关键轴上所有帧的缺省值为0；

当输入变量因子时，关键轴的值变为1，所述变量因子产生过程为：

当采集的影像画面的光占比衰减至规定值以下，产生变量因子，所述光占比为在口腔影像画面内，高亮区域且亮度居于同一阈值内的面积占影像画面的比例；或

应用于影像画面采集过程中的照明控制信号发生变化时产生变量因子，所述照明控制信号用于控制为影像画面采集提供泛照明和聚焦照明。

该关键轴的形成方法过程中，无论是通过光占比衰减还是控制信号变化，都需要依赖于诊断过程中影像采集时照明条件的变化，且该照明条件的变化是一个影像科医师反射性的操作，即通过泛照明来了解整体的情况，当发现病灶时，切换为聚焦照明对病灶区域进行仔细的探查及影像采集，将该影像科医师反射性的操作作为处罚触发条件来形成关键轴，不仅不需要额外再花费时间和精力来标记，同时还能基于影像科医师操作时严谨的职业素养，保证关键轴上特殊帧的准确性。

本发明的目的之二，在于提供一种影像处理装置，其特征在于，用于实现权利要求1～3任一所述的影像处理方法，包括显示模块(403)，所述显示模块(403)包括：

完全显示单元(501)，所述完全显示单元(501)被配置为用于显示时间轴上每一帧对应的影像画面；

帧轴显示单元(502)，被配置为用于显示口腔影像的所有帧的集合所形成的线状帧轴；

和帧标记单元(503)，被配置为遍历影像数据包含的所有帧并提取特殊帧，在特殊帧对应的线状帧轴上形成标记，所述标记可视、可交互。

优选的，还包括：

网络传输模块(401)，所述网络传输模块(401)被配置为用于获取影像数据；

存储模块(402)，所述存储模块(402)被配置为用于存储所获取的影像数据。

本发明的目的之三，在于提供一种影像处理系统，其特征在于，包括：

前端设备(101)，所述前端设备(101)被配置为用于采集影像数据；

后端设备(104)，所述后端设备(104)为权利要求5所述的影像处理装置；

数据服务器(102)，所述数据服务器(102)被配置为用于储存前端设备(101)、后端设备(104)上传的影像数据，及为后端设备(104)提供影像数据下载服务；

网络(103)，所述网络(103)在前端设备(101)、数据服务器(102)及后端设备(104)之间提供通信链路的介质。

优选的，所述前端设备(101)包括摄像模块(301)、照明模块(302)和显示模块(303)，所述照明模块(302)具有泛照明模式和聚焦照明模式，所述显示模块(303)用于显示摄像模块(301)采集的影像画面。

优选的，所述影像处理系统应用于口腔显像。

本发明的有益效果为：本发明在影像数据采集的源头对影像数据进行处理，使常规的影像数据携带上特殊的标记数据，也即对应特殊帧，该特殊帧在医学教学过程中即对应着能清楚看到病灶的画面，从而便于学生线上自主探索式学习过程中准确辨识出具有病灶的影像画面，对于医学实例的线上教学推广具有十分积极的作用。

附图说明

图1为影像处理系统的整体结构示意图；

图2为影像影像处理方法的流程示意图；

图3为前端设备的框架结构示意图；

图4为照明模块不同照明模式对应的影像画面状态；

图5为后端设备的框架结构示意图；

图6为后端设备的显示模块对应的显示区域；

图7为帧标记单元对线状帧轴进行标记方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明技术方案进行清楚、完整地描述。

图1示出了可以应用本实施例的口腔影像处理方法或口腔影像系统的示例性系统架构。

如图1所示，系统架构包括前端设备101、数据服务器102、网络103、后端设备104。网络103用以在前端设备101、数据服务器102及后端设备104之间提供通信链路的介质。网络103可以是各种连接类型，例如有线、无线通信链路或者光纤电缆等。前端设备101用于口腔影像采集，通过网络103可以将采集的口腔影像上传至数据服务器102中，后端设备104可以通过网络103从数据服务器102中加载口腔影像，同时，后端设备104也可以通过网络103将对口腔影像进行处理后得到的处理数据上传至数据服务器102中。

后端设备104可以是硬件也可以是软件。当后端设备104为硬件时，可以是具有显示屏并且能处理口腔影像的各种电子设备，包括但不限于智能手机、平板电脑、笔记本电脑和台式计算机等。当后端设备104为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。

本实施例中，图1中的前端设备101、数据服务器102和后端设备104的数量为示意性，非确指，可以根据实际需求，设置任意的数量。

参考图2，示出了口腔影像处理方法的一个实施例流程。该口腔影像处理方法包括如下步骤：

步骤210，采集口腔影像数据。

本实施例中，前端设备101用于采集口腔影像数据，通过集成在前端设备101上的摄像头拍摄口腔内的影像数据，采集的口腔影像可以直接显示在前端设备101的显示屏上。

步骤220，上传口腔影像数据至服务器。

本实施例中，采集到的口腔影像经模数转换为数字信息后再经编码通过网络103传输至数据服务器102上，对于采集到的口腔影像数据所进行的数据处理操作均可由现有应用技术实现。

步骤230，从服务器下载口腔影像数据。

后端设备104向数据服务器102发送请求数据包后，由数据服务器102对请求数据包进行解析提取认证信息，并在确认认证信息符合要求后向后端设备104发送相应的口腔影像数据。例如，后端设备104与数据服务器102之间的认证可以采用用户名与密码和核验来实现。

步骤240，对口腔影像数据进行处理。

后端设备104接收到口腔影像数据后，经解码后可显示在显示屏上。本实施例中，后端设备104用于医学教学，后端设备104上集成了包括但不限于对口腔影像进行暂停、前进、后退、图像放大、提取图像帧等操作的控制单元，进而有利于帮助对于口腔内状况的诊断、识别和其他处理。

参考图3，示出了用于实现采集口腔影像数据的前端设备101的系统架构。该前端设备101包括摄像模块301、照明模块302、显示模块303，摄像模块301与照明模块302集成在一起，由照明模块302为摄像模块301提供光照，以便于摄像模块301在口腔内完成口腔影像数据的采集，所采集的口腔影像数据经编码、传输、解码后显示于显示模块303上。

照明模块302具有至少两种照明模式，参考图4，示出了照明模块302通过两种不同的照明模式所采集的口腔影像数据。图4(a)中，照明模块302的照明模式为泛照明模式，在泛照明模式下摄像模块301采集的口腔影像数据在显示时具有较高的画面统一度，即画面S的各个部分的亮度、清晰度、饱和度等都相接近，在同一阈值范围内；图4(b)中，照明模块302的照明模式为聚焦照明模式，在聚焦照明模式下摄像模块301采集的口腔影像数据在显示时具有明显的对比性，画面上具有明显的显示区P和非显示区S，区别显示区P和非显示区S的因素可以是表征图像画面质量的亮度、分别率、饱和度等度量值，但不限于这些度量值，且显示区P的度量值优于非显示区S，显示区P和非显示区S的某一个或多个度量值不在同一个阈值范围内，也就是说显示区P和非显示区S之间存在明显的可被特异性识别的差异性。

在图4(b)的基础上，聚焦照明模式还被配置为使采集的口腔影像数据在显示时显示区P位于图像范围的中心位置。

参考图5，示出了后端设备104的系统架构。该后端设备104包括网络传输模块401、存储模块402和显示模块403。网络传输模块401用于实现与数据服务器102数据互联，完成数据的上传及下载；存储模块402则用于存储下载的口腔影像数据；显示模块403对口腔影像数据进行解码和播放。网络传输模块401和存储模块402均可采用现有技术来实现。

显示模块403包括完全显示单元501、帧轴显示单元502和帧标记单元503。

参考图6，其中完全显示单元501被配置为在显示区域M内显示当前帧的图像信息，显示区域M为配置在显示屏上占绝大部分面积的区域；帧轴显示单元502被配置为在显示区域N内显示当前播放的口腔影像的所有帧的集合所形成的线状帧轴，显示区域N为配置在显示屏上占很小部分面积的区域，其位置可以使屏幕的上、下、左、右任意边缘位置；帧标记单元503被配置为在所显示的线状帧轴上标记特殊帧，并形成可视、可交互的标记。可视的标记指的是在线状帧轴上具有明显区别于线状帧轴上的标记，例如较为突出的点；可交互的标记指的是该标记载有交互信息，例如操作者可以将鼠标移动至该标记，标记便会产生变化，如点变大，且可以点击获取该点所对应的帧的图像画面信息并通过显示区域M显示。

参考图7，示出了帧标记单元503对帧轴显示单元502所显示的线状帧轴进行标记方法的一个实施例流程。该标记方法包括如下步骤：

步骤610，遍历口腔影像数据的所有帧。

本实施例中，在显示模块403对口腔影像数据进行解码和显示的同时，识别关键轴上的信息，该关键轴被配置为对应于口腔影像数据的时间轴，但是关键轴的缺省值为零或者无，对于需要标记的特殊帧的位置，关键轴的值则是1，且该关键轴是由前端设备101采集口腔影像数据的同时产生，并作为口腔影像数据的关键轴被一起编码传输。

步骤620，提取关键轴上值为1的帧

根据关键轴与时间轴的对应关系，确定值为1的帧在关键轴上的位置，并进一步在线状帧轴上对应的位置形成标记。

根据前述记载，关键轴的形成与照明模块302的不同照明模式的设置相关联。关键关键轴上值为1的帧对应于口腔影像采集过程中聚焦照明模式的影像画面，值为1可以有多种不同输入参数。

例如，可以设置照明模块302为泛照明模式下的控制信号为x1，聚焦照明模式下的控制信号为x2，当控制信号由x1切换为x2时，产生一个值为1的帧，并在关键轴记录。

再例如，照明模块302在不同照明模式下口腔影像画面具有不同的光占比，在泛照明模式下的口腔影像画面的光占比是明显要大于聚焦照明模式的，通过设置特征值k，当光占比降低至特征值k以下时，产生一个值为1的帧，并在关键轴记录。本实施例中，光占比在口腔影像画面内，高亮区域且亮度居于同一阈值内的面积占口腔影像画面的比例，由于泛照明模式下，口腔影像画面的亮度基本差不多，光占比高达90％以上，而聚焦照明模式下，口腔影像画面的中心部分亮度大，而周围部分亮度小，因此中心部分为高亮区域，光占比远小于90％。

以上实施例仅用以说明本发明的技术方案，而非对其限制。

Claims (6)

1.影像处理方法，其特征在于，包括如下步骤：

获取影像数据；

遍历影像数据包含的所有帧并提取特殊帧，所述特殊帧对应的影像画面异于非特殊帧对应的影像画面；

显示影像数据的时间轴及影像画面，并在特殊帧对应的时间轴上形成标记，所述标记可视、可交互；

所述影像数据被配置为具有关键轴，所述关键轴由影像数据采集同步形成，所述关键轴对应于影像数据的时间轴，所述关键轴上值为1的帧为特殊帧；

所述关键轴的形成方法为：

设定关键轴上所有帧的缺省值为0；

当输入变量因子时，关键轴的值变为1，所述变量因子产生过程为：

当采集的影像画面的光占比衰减至规定值以下，产生变量因子，所述光占比为在口腔影像画面内，高亮区域且亮度居于同一阈值内的面积占影像画面的比例；或

应用于影像画面采集过程中的照明控制信号发生变化时产生变量因子，所述照明控制信号用于控制为影像画面采集提供泛照明和聚焦照明。

2.影像处理装置，其特征在于，用于实现权利要求1所述的影像处理方法，包括显示模块，所述显示模块包括：

完全显示单元，所述完全显示单元被配置为用于显示时间轴上每一帧对应的影像画面；

帧轴显示单元，被配置为用于显示口腔影像的所有帧的集合所形成的线状帧轴；

和帧标记单元，被配置为遍历影像数据包含的所有帧并提取特殊帧，在特殊帧对应的线状帧轴上形成标记，所述标记可视、可交互。

3.根据权利要求2所述的影像处理装置，其特征在于，还包括：

网络传输模块，所述网络传输模块被配置为用于获取影像数据；

存储模块，所述存储模块被配置为用于存储所获取的影像数据。

4.影像处理系统，其特征在于，包括：

前端设备，所述前端设备被配置为用于采集影像数据；

后端设备，所述后端设备为权利要求3所述的影像处理装置；

数据服务器，所述数据服务器被配置为用于储存前端设备、后端设备上传的影像数据，及为后端设备提供影像数据下载服务；

网络，所述网络在前端设备、数据服务器及后端设备之间提供通信链路的介质。

5.根据权利要求4所述的影像处理系统，其特征在于，所述前端设备包括摄像模块、照明模块和显示模块，所述照明模块具有泛照明模式和聚焦照明模式，所述显示模块用于显示摄像模块采集的影像画面。

6.根据权利要求4所述的影像处理系统，其特征在于，所述影像处理系统应用于口腔显像。