CN113645416A - 一种超声成像系统以及图像处理设备及方法 - Google Patents

Abstract

本申请公开了一种超声成像系统以及图像处理设备及方法，图像处理方法包括获取目标对象进行超声检测时的超声图像和视频图像，所述超声图像用于指示在进行超声检测时目标对象的组织信息，所述视频图像用于指示在进行超声检测时用户的操作信息；根据设定的合成参数,依照时间先后顺序将各相同时刻对应的超声图像和视频图像分别进行合成，以得到至少一帧复合图像；依照图像帧的生成顺序发送所述复合图像，以供远端的医护人员根据所述复合图像进行远程会诊。通过上述方法能够解决在远程医疗服务中的同步性问题，并且在远端播放视频时不需要专用的服务器，从而降低了远程医疗服务的门槛。

Description

一种超声成像系统以及图像处理设备及方法

技术领域

本发明涉及超声技术领域，具体涉及一种超声成像系统，以及一种图像处理设备及方法。

背景技术

当前医疗水平发展不均衡，发达地区相较不发达地区的医疗条件要更好，师资力量也相对雄厚，导致不发达地区某些医学上的疑难问题不能及时得到解决，这催生出远程医疗服务，远程医疗服务指的是位于不同地区、城市、甚至国家的专家可以远程地对某个病例共同地进行诊断，以获得更准确的诊断结果。

在实时超声会诊中，本地的超声成像设备获取到的画面可以通过网络，传输给不在设备旁边的医生，以进行远程诊断。但是由于超声检查没有标准的体位，仅凭超声成像设备获取到的画面，无法确认超声成像设备以及目标对象的状态，不利于会诊专家完整地了解检查的过程。

为解决这一问题，在远程医疗服务中，除了超声成像设备外，还会加设视频成像设备，视频成像设备用于拍摄操作超声成像设备的医护人员的操作信息，例如，视频成像设备的摄像头可以对准手持探头的医护人员的双手，参与会诊的专家可以基于此远程指导医护人员调整探头的角度或手持探头的手势等。

在上述过程中，有两个问题至关重要，第一是实时性问题。实时性问题指的是远程医疗服务，由于地域差异两地的信息要尽量以最快的时间“共享”，避免由于延迟导致沟通上出现问题。第二是同步性问题。同步性问题指的是超声图像的视频流和视频图像的视频流要尽可能同步。

目前，现有技术对同步性的问题提出了如下的解决方案：在本地将两路视频流编码并“打入”相同或相近的时间戳，在远端的播放端再使用专有的播放器播放两路视频流，从而复原本地的“现场”。上述方案存在的问题是：①从本地到远端需要传输两路视频流，传输的过程中可能产生不同步；②在远端的播放端需要设置专用播放器才能播放两路视频流；③专用播放器也不能完全保证两路视频流是同步播放的，这样在播放端也会产生同步性的问题。

发明内容

根据第一方面， 一种实施例公开了一种图像处理方法，包括：

获取目标对象进行超声检测时的超声图像和视频图像，所述超声图像用于指示在进行超声检测时目标对象的组织信息，所述视频图像用于指示在进行超声检测时用户的操作信息；

根据设定的合成参数，依照时间先后顺序将各相同时刻对应的超声图像和视频图像分别进行合成，以得到至少一帧复合图像；

依照图像帧的生成顺序发送所述复合图像，以供远端的医护人员根据所述复合图像进行远程会诊。

根据第二方面，一种实施例公开了一种超声成像系统，包括：

图像处理设备，用于接收目标对象进行超声检测时的超声图像和视频图像，所述超声图像用于指示在进行超声检测时目标对象的组织信息，所述视频图像用于指示在进行超声检测时用户的操作信息，根据设定的合成参数，依照时间先后顺序将各相同时刻对应的超声图像和视频图像分别进行合成，以得到至少一帧复合图像，依照图像帧的生成顺序发送所述复合图像，以供远端的医护人员根据所述复合图像进行远程会诊；

超声成像设备，用于在目标对象进行超声检测时采集超声图像，并将采集到的超声图像发送至所述图像处理设备；

视频成像设备，用于在目标对象进行超声检测时采集视频图像，并将采集到的视频图像发送至所述图像处理设备。

根据第三方面，一种实施例公开了一种图像处理设备，包括：

超声图像接收单元，用于接收超声成像设备在目标对象进行超声检测时采集的超声图像，所述超声图像用于指示在进行超声检测时目标对象的组织信息；

视频图像接收单元，用于接收视频成像设备在目标对象进行超声检测时采集的视频图像，所述视频图像用于指示在进行超声检测时用户对所述超声成像设备的操作信息；

第一处理器，用于根据设定的合成参数，依照时间先后顺序将各相同时刻对应的超声图像和视频图像分别进行合成，以得到至少一帧复合图像；

第一通信单元，所述第一处理器用于依照图像帧的生成顺序，控制所述第一通信单元发送所述复合图像，以供远端的医护人员根据所述复合图像进行远程会诊。

上述实施例中，在本地将同时获取到的超声图像和视频图像进行合成，得到复合图像，相当于将原先的两路视频流成为一路视频流进行传输以及播放，一方面，避免了传输过程以及在远端播放时可能产生的同步性问题，另一方面，对于一路视频流来说，使用通用的多媒体播放器即可播放，在远端不再需要再设置专用的播放器，降低了会诊参与门槛，也更有利于会诊专家更准确、完整地了解检查过程并做出相应的指导。

附图说明

图1为一种实施例的超声成像系统的示意图；

图2为一种实施例的超声成像系统的组成示意图；

图3为一种实施例的图像处理设备的组成示意图；

图4为一种实施例的终端设备的组成示意图；

图5为一种实施例的图像处理方法的流程图；

图6为一种实施例的中止图像采集后复合图像发送过程的示意图；

图7为未中止图像采集的复合图像发送过程的示意图；

1000、超声成像系统；

100、超声成像设备；

110、探头；120、发射电路；130、发射/接收选择开关；140、接收电路；150、波束合成模块；160、信号处理模块；170、成像模块；180、显示器；

200、视频成像设备；

300、图像处理设备；

310、超声图像接收单元；320、视频图像接收单元；330、第一处理器；340、第一通信单元；350、第一人机交互接口；360、存储单元；

400、终端设备；

410、第二通信单元；420、第二处理器；430、显示装置；440、第二人机交互接口。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

本申请中所称的本地的医护人员，指的是进行超声检测并接收远程医疗的一方，本申请中所称的远端的医护人员或远端的专家，指的是提供远程医疗服务的一方，通常两方在相隔较远。

本申请中所称的时间戳，指的是使用数字签名技术产生的数据，签名的对象包括了原始文件信息、签名参数、签名时间等信息，时间戳可以对数据产生的时间进行认证。

本申请中所称的远程会诊、远程医疗服务等，包括了远端的医生接受本地医生发送的视频影像等资料后对本地的医生进行指导，也包括远端的医生在接收本地医生发送的资料后并不向本地的医生反馈信息的场景，在该场景下，远端的医生可以自行解读、讨论或分析视频影像资等资料。

请参照图1至3所示的实施例，该实施例提供了一种超声成像系统1000，包括超声成像设备100、视频成像设备200以及图像处理设备300。

超声成像设备100用于在目标对象进行超声检测时采集超声图像，并将采集到的超声图像发送至图像处理设备300，超声图像用于指示在进行超声检测时目标对象的组织信息，例如，目标对象为患者的腹部脏器，组织信息可以是脏器的形状等信息，也可以是病灶的形态等。如图2所示，超声成像设备100包括探头110、发射电路120、发射/接收选择开关130、接收电路140、波束合成模块150、信号处理模块160、成像模块170。

在超声成像过程中，发射电路120将经过延迟聚焦的具有一定幅度和极性的发射脉冲通过发射/接收选择开关130发送到探头110。探头110受发射脉冲的激励，向目标对象(例如，人体或者动物体内的器官、组织、血管等等)发射超声波，经一定延时后接收从目标对象反射回来的带有组织信息的超声回波，并将此超声回波重新转换为电信号。接收电路140接收探头110转换生成的电信号，获得超声回波信号，并将这些超声回波信号送入波束合成模块150。波束合成模块150对超声回波信号进行聚焦延时、加权和通道求和等处理，然后将超声回波信号送入信号处理模块160进行相关的信号处理。经过信号处理模块160处理的超声回波信号送入成像模块170。成像模块170根据用户所需成像模式的不同，对信号进行不同的处理，获得不同模式的超声图像数据，然后经对数压缩、动态范围调整、数字扫描变换等处理形成不同模式的超声图像，如B图像，C图像，D图像，多普勒血流图像，包含组织弹性特性的弹性图像等等，或者其他类型的二维超声图像或三维超声图像，在得到超声图像后，成像模块170再将其送至图像处理设备300中进行处理。上述弹性图像可以通过发射超声波检测目标对象内部的剪切波特性来获得，或者还可以通过发射超声波检测目标对象因外力发生的形变来获得，其中，剪切波可以通过外力振动来获得，也可以通过向目标对象发射超声波来激发产生。

超声成像设备100还可以包括显示器180，该显示器180用于显示来自于成像模块170的超声图像数据，也就是说，本地的医护人员在操作超声成像设备100进行检测时，可以看到自身操作对应的超声图像。显示器180可以是触摸屏显示器。当然，超声成像设备100还可以连接另一个显示器，实现双屏显示系统。此外，本实施例中的显示器180可以包括一个显示器，也可以包括多个显示器，本实施例中不限制显示器的数量。显示的超声图数据(超声图像)可以是显示在一个显示器上，也可以同时显示在多个显示器上，当然也可以是将超声图像的部分分别同步显示在多个显示器上，在此本实施例也不作限制。

视频成像设备200用于在目标对象进行超声检测时采集视频图像，并将采集到的视频图像发送至图像处理设备300，该视频成像设备200可以是各种类型的摄影或摄像设备。视频图像用于指示在进行超声检测时用户对超声成像设备100的操作信息，该操作信息包括但不限于对于探头110的握持方式、握持角度、医护人员自身的手势以及探头110的角度或位置等。也就是说，通过同时观察视频图像和超声图像，可以获知医护人员通过对超声成像设备100采取了何种操作对应获取到了何种形态的超声图像。

图像处理设备300用于根据接收到的视频图像和超声图像，以合成复合图像，并发送复合图像。具体的，如图3所示，该图像处理设备300可以包括超声图像接收单元310、视频图像接收单元320、第一处理器330以及第一通信单元340，其中，超声图像接收单元310用于接收超声成像设备100采集的超声图像，视频图像接收单元320用于接收视频成像设备200采集的视频图像。

第一处理器330用于根据设定的合成参数，依照时间先后顺序将各相同时刻对应的超声图像和视频图像分别进行合成，以得到至少一帧复合图像，并且，第一处理器330用于根据设定的合成参数，控制第一通信单元340依照图像帧的生成顺序发送各帧复合图像，以供远端的医护人员根据复合图像进行远程会诊。

由上述描述可知，在合成至少一帧复合图像前，首先需要确定同一时刻对应的超声图像和视频图像，在本实施例中，第一处理器330用于产生时钟信号，并根据该时钟信号，将获取到的各帧超声图像和视频图像分别打上时间戳。也就是说，本实例中，以时间戳的方式在各帧图像上打上“时间标记”，通过基于同一时钟信号得到的时间戳，能够确定同时获取到的各帧超声图像和视频图像。需要说明的是，受客观条件的制约，即便是同一时间戳对应的一帧超声图像和视频图像之间也可能存在偏差，本文中的“同时”指的是宏观上的同时，类似于CPU同时处理多个进程请求。除了上述时间戳的方式外，现有及未来可能出现的其他在图像上打上时间标记的方式也可以应用于本申请当中。

而超声图像和视频图像的具体合成方式，出于实际需求的考虑，是将视频图像缩放后覆盖在超声图像上的某一区域，从而形成复合图像，故合成参数至少包括视频图像的尺寸参数以及视频图像在超声图像上的位置参数。在其他实施例中，也并不排除将超声图像进行一定的缩放后覆盖在视频图像上。上述尺寸参数既可以是一确定的数值，例如可设定视频图像为M*N大小的图像，其中M和N均表示长度；也可以是一相对的比例值，例如设置视频图像的长度为超声图像的长度的五分之一，宽度为超声图像的宽度的六分之一。此外，可以以超声图像的某一点为原点建立坐标系，位置参数则是视频图像的某一点在该坐标系中的位置，例如，将超声图像左上角的顶点作为坐标系的原点，位置参数为视频图像左上角的顶点在该坐标系中的坐标。通过位置参数和尺寸参数，能够毫无疑义地得到视频图像以何种大小覆盖在超声图像中的哪个位置。具体的，合成的方式可以是：首先根据尺寸参数缩放视频图像，其次根据位置参数确定超声图像上的合成区域，最后将缩放后的视频图像覆盖于超声图像的合成区域上。由于合成是将视频图像覆盖在超声图像上，因此超声图像上被覆盖的区域内原先的信息是无法观察到的，易于理解的是，在复合图像上当然是不希望视频图像遮挡住超声图像上的有用信息的。

上述合成参数可以是预先设置的，也可以是本地的医护人员在对目标对象进行超声检测前设置的，例如，如果医护人员要通过超声检测肝脏的形态，则可以设置与该检测相对应的合成参数，当然的，本地的医护人员在中途可以修改该合成参数，例如，图像处理设备300可以包括第一人机交互接口350，以接收用户输入的合成参数变更指令，从而修改合成参数。需要说明的是，当合成参数被修改后，后续的复合图像均以该新的合成参数进行合成得到的，例如，在合成t时刻对应的复合图像后合成参数被修改了，那么t+1时刻及其之后对应的复合图像则均以新的合成参数得到。

由于第一通信单元340是依照图像帧的生成顺序发送复合图像，故可以认为复合图像的发送遵循“先进先出”的原则，远端的医护人员是依照时间先后顺序观察到各复合图像的。一些实施例中，可以首先使用编码器将得到的复合图像依进行编码（例如H624格式），然后推送多媒体流（例如RTSP/RTMP格式）至云服务器，远端的医护人员可以通过通用的多媒体播放器对该视频流进行解码并播放。

本实例中，将同时获取视频图像和超声图像进行合成，从而保证合成后的复合图像上超声相关信息和操作相关信息的同步性，此外，由于传输的不再是两路视频流，故也减少了由于数据传输所可能带来的同步性问题，并且，远端不再需要专用的播放器去播放两路视频流，对于远端的医护人员来说也降低了操作门槛。

在一些实施例中，图像处理设备300还包括存储单元360，存储单元360用于在图像处理设备300接收超声图像和视频图像之后，缓存至少一帧接收到的超声图像和至少一帧接收到的视频图像，也就是说，图像处理设备300获取了超声图像和视频图像之后，并不直接发送该超声图像和视频图像，而是对超声图像和视频图像进行缓存，其缓存超声图像和视频图像的数量视存储单元360的容量而定。当超声图像和视频图像均在缓存中，且各帧图像均打上了时间戳时，各帧复合图像是依照时间先后顺序，由缓存中各相同时刻对应的一帧超声图像和一帧视频图像分别进行合成从而得到的，例如，缓存中存在t时刻的一帧超声图像和t时刻的一帧视频图像，以及t+1时刻的一帧超声图像和t+1时刻的一帧视频图像，则可以先根据t时刻的超声图像和t时刻的视频图像合成t时刻对应的复合图像，而后再根据t+1时刻的超声图像和t+1时刻的视频图像合成t+1时刻对应复合图像。

在一些实施例中，图像处理设备300生成的复合图像被发送至图4的终端设备400上，该终端设备400位于远端，供远端的医护人员使用。如图4所示，该终端设备400包括第二通信单元410，第二处理器420以及显示装置430。

第二通信单元410用于与上述图像处理设备300通信连接，第二处理器420用于通过第二通信单元410接收图像处理设备300发送的复合图像，并控制显示装置430依照接收顺序播放复合图像，连续播放的复合图像可以通过上述通用的多媒体播放器进行播放，以供远端的医护人员查看。

此外，在本实施例中，终端设备400还提供了供远端的医护人员对合成参数进行修改的第二人机交互接口440，该第二人机交互接口440可以接收远端的医护人员输入的合成参数变更指令。对于本地的医生来说，自身的经验以及水平通常不及远端的专家，因此设置合成参数的过程中，可能会用视频图像遮挡住了超声图像中的必要信息，在本实施例中，将修改合成参数的权限也赋予了远端的医生，从而减少上述问题的发生。例如，第二人机交互接口440可以与鼠标键盘等人机交互设备连接，显示装置430在显示复合图像的过程中，可以同时显示合成参数中的尺寸参数和位置参数，远端的专家可以通过人机交互设备直接向终端设备400输入新的尺寸参数和位置参数，从而向本地发送合成参数变更指令。当第一处理器330检测到对一帧已发送复合图像输入的合成参数变更指令，就变更合成参数。在其他实施例中，该合成参数变更指令也可以由本地的医护人员输入，例如，远端的医护人员可以通过即时通讯软件通知本地的医护人员修改合成参数，但这种方式相较于远端的医护人员直接发送指令的方式而言，相对来说操作更为繁琐，也不够及时。在其他实施例中，在远端还可以设置一个设备专门用来输入合成参数变更指令。

第一处理器330还用于根据变更后的合成参数，自缓存中用于合成已发送复合图像的一帧超声图像和一帧视频图像开始，继续依照时间先后顺序对缓存中将各相同时刻对应的超声图像和视频图像分别进行合成，得到变更合成参数后的至少一帧复合图像，并通过第一通信单元340发送变更合成参数后的至少一帧复合图像。

下面举一例对上述过程进行说明，在本例中合成参数修改了一次。为了加以区分，在本例中以新的合成参数合成的复合图像记为复合图像’，例如，当前缓存有t时刻、t+1时刻以及t+2时刻的超声图像和视频图像，图像处理设备300合成并将t时刻的复合图像发送至终端设备400后，如果远端的医护人员针对t时刻的复合图像输入了合成参数变更指令，那么图像处理设备300就根据新的合成参数再次将t时刻的超声图像和视频图像进行合成，从而得到t时刻的复合图像’，将t时刻的复合图像’再次发送至终端设备400，供远端的医护人员再次查看，由于t时刻的复合图像’是依照远端的医护人员所设定的合成参数得到的，因此远端的医护人员可以从t时刻的复合图像’得到想要的信息。此外，在这一过程中，如果图像处理设备300已经依照旧的合成参数得到了t+1时刻以及t+2时刻的复合图像，那么就将得到的t+1时刻以及t+2时刻的复合图像弃用，采用新的合成参数得到t+1时刻以及t+2时刻的复合图像’，而如果图像处理设备300还未按照旧的合成参数得到t+1时刻以及t+2时刻的复合图像，那么就直接采用新的合成参数得到t+1时刻以及t+2时刻的复合图像。对于远端的医护人员而言，修改了合成参数后，就可以一直得到根据新的合成参数得到的复合图像。本申请并不对修改合成参数的次数进行限定，即在远程医疗服务的过程中，远端的医护人员可以在任意时刻对合成参数进行修改，以不断调整想要获取的信息。

在一些实施例中，在检测到合成参数变更指令之后，第一处理器330还用于控制超声成像设备100中止采集超声图像，并控制视频成像设备200中止采集视频图像，例如，第一处理器330可以向超声成像设备100以及视频成像设备200发送控制两者中止采集图像的中止指令。当第一处理器330将由当前缓存中的各帧超声图像和视频图像得到的各帧复合图像均发送完毕，第一处理器330控制超声成像设备100继续采集超声图像，并控制视频成像设备200继续采集视频图像。

下面举一例说明中止采集图像直到缓存图像使用完毕的意义。在本例中合成参数修改了一次，同样的，在本例中以新的合成参数合成的复合图像记为复合图像’（在图6与图7中，以第a帧’表示该帧复合图像由新的合成参数得到，其中，a为整数）。在图6中超声成像系统1000每毫秒采集并缓存一帧超声图像和一帧视频图像，而由该毫秒的超声图像和视频图像合成的复合图像，要间隔一毫秒才会发送至终端设备400，也就是说，图6中第1毫秒所采集的第1帧超声图像和第1帧视频图像合成的第1帧复合图像，在第3毫秒才发送至终端设备400，当第3帧复合图像发送至终端设备400时，超声成像系统1000已缓存到了第5帧超声图像和第5帧视频图像。如果远端的医护人员针对第3帧复合图像输入合成参数变更指令，则依照上文已经说明的，此时重新根据缓存中的第3帧超声图像和第3帧视频图像，生成第3帧复合图像’，第3帧复合图像’在第6毫秒时发送至终端设备400，而后图像处理设备300继续依照图像帧的生成顺序合成并发送复合图像（依次生成并发送第4帧复合图像’和第5帧复合图像’）并且，从第5毫秒（接收到合成参数变更指令时）开始超声成像系统1000中止采集第6帧超声图像和第6帧视频图像，直到第8毫秒时，第5帧视频图像和第5帧超声图像合成的第5帧复合图像’发送至终端设备400后，超声成像系统1000才开始在第9毫秒重新开始采集视频图像和超声图像，由于第8毫秒和第9毫秒时终端设备400没有接收到复合图像，故终端设备400上持续显示第5帧复合图像’，直到第11毫秒才接收到第6帧复合图像’，而第6帧超声图像和第6帧视频图像是在第9毫秒采集的，由此看出，尽管合成参数经过了修改，但是采集视频图像和超声图像的时刻与对应复合图像发送至终端设备400的时刻的间隔并没有发生改变，仍为一毫秒。也就是说，在本实施例中，改变合成参数并不会加大视频延迟。

请继续参照图7，该图中与图6的区别在于，在接收到合成参数变更指令后，超声成像系统1000并不中止采集视频图像和超声图像，可以看出，在合成参数改变之后，采集第6帧视频图像和第六6帧超声图像的时刻与第6帧复合图像’ 发送至终端设备400的时刻的间隔发生了改变，由一毫秒增大到了两毫秒，也就是说，如果不中止采集图像直到缓存图像使用完毕，那么每修改一次合成参数，视频延迟就会增大一点，这不利于远端的医生及时地发出指导信息。

请参照图5，本申请还提供了一种图像处理方法，包括步骤：

步骤S100，获取目标对象进行超声检测时的超声图像和视频图像。超声图像用于指示在进行超声检测时目标对象的组织信息，例如，目标对象为患者的腹部脏器，组织信息可以是脏器的形状等信息，也可以是病灶的形态等，通常情况下，由医护人员手持超声探头110发射超声波，从而获取该超声图像。视频图像用于指示在进行超声检测时用户的操作信息，该操作信息包括但不限于对于探头110的握持方式、握持角度、医护人员自身的手势以及探头110的角度或位置等。也就是说，通过同时观察视频图像和超声图像，可以获知医护人员通过对探头110等设备采取了何种操作对应获取到了何种形态的超声图像。

在一些实施例中，步骤S100之后还包括：

步骤S110、缓存至少一帧获取到的超声图像和至少一帧获取到的视频图像。

也就是说，获取了超声图像和视频图像之后，并不直接发送该超声图像和视频图像，而是对超声图像和视频图像进行缓存，其缓存超声图像和视频图像的数量视缓存大小而定，易于理解的是，至少一帧超声图像和至少一帧视频图像在缓存中，该缓存既可以是本地的存储设备，也可以是云端等存储空间。

步骤S120、基于同一时钟信号，将获取到的各帧超声图像和视频图像分别打上时间戳。

也就是说，本实例中，以时间戳的方式在各帧图像上打上“时间标记”，通过基于同一时钟信号得到的时间戳，能够确定同时获取到的各帧超声图像和视频图像中。需要说明的是，受客观条件的制约，即便是同一时间戳对应的一帧超声图像和视频图像之间也可能存在偏差，本文中的“同时”指的是宏观上的同时，类似于CPU同时处理多个进程请求。除了上述时间戳的方式外，现有及未来可能出现的其他在图像上打上时间标记的方式也可以应用于本申请当中。

步骤S200、根据设定的合成参数，依照时间先后顺序将各相同时刻对应的超声图像和视频图像分别进行合成，以得到至少一帧复合图像。

当超声图像和视频图像均在缓存中，且各帧图像均打上了时间戳时，各帧复合图像是依照时间先后顺序，将缓存中各相同时刻对应的一帧超声图像和一帧视频图像分别进行合成从而得到的，例如，缓存中存在t时刻的一帧超声图像和t时刻的一帧视频图像，以及t+1时刻的一帧超声图像和t+1时刻的一帧视频图像，则可以先根据t时刻的超声图像和t时刻的视频图像合成t时刻对应的复合图像，而后再根据t+1时刻的超声图像和t+1时刻的视频图像合成t+1时刻对应复合图像。

而超声图像和视频图像的具体合成方式，出于实际需求的考虑，是将视频图像缩放后覆盖在超声图像上的某一区域，从而形成复合图像，故合成参数至少包括视频图像的尺寸参数以及视频图像在超声图像上的位置参数。在其他实施例中，也并不排除将超声图像进行一定的缩放后覆盖在视频图像上。上述尺寸参数既可以是一确定的数值，例如可设定视频图像为M*N大小的图像，其中M和N均表示长度；也可以是一相对的比例值，例如设置视频图像的长度为超声图像的长度的五分之一，宽度为超声图像的宽度的六分之一。此外，可以以超声图像的某一点为原点建立坐标系，位置参数则是视频图像的某一点在该坐标系中的位置，例如，将超声图像左上角的顶点作为坐标系的原点，位置参数为视频图像左上角的顶点在该坐标系中的坐标。通过位置参数和尺寸参数，能够毫无疑义地得到视频图像以何种大小覆盖在超声图像中的哪个位置。具体的，合成的方式可以是：首先根据尺寸参数缩放视频图像，其次根据位置参数确定超声图像上的合成区域，最后将缩放后的视频图像覆盖于超声图像的合成区域上。由于合成是将视频图像覆盖在超声图像上，因此超声图像上被覆盖的区域内原先的信息是无法观察到的，易于理解的是，在复合图像上当然是不希望视频图像遮挡住超声图像上的有用信息的。

上述合成参数可以是预先设置的，也可以是本地的医护人员在对目标对象进行超声检测前设置的，例如，如果医护人员要通过超声检测肝脏的形态，则可以设置与该检测相对应的合成参数，当然的，本地的医护人员在中途可以修改该合成参数，例如，图像处理设备300可以包括第一人机交互接口350，以接收用户输入的合成参数变更指令，从而修改合成参数。需要说明的是，当合成参数被修改后，后续的复合图像均以该新的合成参数进行合成得到的，例如，在合成t时刻对应的复合图像后合成参数被修改了，那么t+1时刻及其之后对应的复合图像则均以新的合成参数得到。

步骤S300、依照图像帧的生成顺序发送复合图像，以供远端的医护人员根据复合图像进行远程会诊。

由步骤S300可以看出，复合图像遵循“先进先出”的原则进行发送，故远端的医护人员是依照时间先后顺序观察到各复合图像的。一些实施例中，可以首先使用编码器将得到的复合图像依进行编码（例如H624格式），然后推送多媒体流（例如RTSP/RTMP格式）至云服务器，远端的医护人员可以通过通用的多媒体播放器对该视频流进行解码并播放。

由上述步骤S100至步骤S300可以看出，本实例中，将同时获取视频图像和超声图像进行合成，从而保证合成后的复合图像上超声相关信息和操作相关信息的同步性，此外，由于传输的不再是两路视频流，故也减少了由于数据传输所可能带来的同步性问题，并且，远端不再需要专用的播放器去播放两路视频流，对于远端的医护人员来说也降低了操作门槛。

此外，发明人还更加深入地了解了各方人员在进行远程医疗服务时的痛点，对于本地的医生来说，自身的经验以及水平通常不及远端的专家，因此设置合成参数的过程中，可能会用视频图像遮挡住了超声图像中的必要信息；此外，除了同步性的问题之外，本地的医生会希望远端的专家反馈过来的信息是及时的，即视频传输的延迟尽量小，否则可能导致接收到的指导信息是针对较久之前的操作。

基于上述两方面的考虑，本实施例中还包括：

步骤S400，当检测到针对一帧已发送复合图像输入的合成参数变更指令，变更合成参数。

本实施例中，合成参数变更指令由远端的医护人员发送。例如，远端的显示设备在显示复合图像的过程中，可以同时显示合成参数中的尺寸参数和位置参数，远端的专家具有修改尺寸参数和位置参数的权限，通过在远端输入新的尺寸参数和位置参数，从而向本地发送合成参数变更指令。在其他实施例中，该合成参数变更指令也可以由本地的医护人员输入，例如，远端的医护人员可以通过即时通讯软件通知本地的医护人员修改合成参数，但这种方式相较于远端的医护人员直接发送指令的方式而言，相对来说操作更为繁琐，也不够及时。

步骤S500a，根据变更后的合成参数，自缓存中用于合成已发送复合图像的一帧超声图像和一帧视频图像开始，继续依照时间先后顺序对缓存中将各相同时刻对应的超声图像和视频图像分别进行合成，得到并发送变更合成参数后的至少一帧复合图像。

下面举一例对步骤S500a进行说明，在本例中合成参数修改了一次。为了加以区分，在本例中以新的合成参数合成的复合图像记为复合图像’，例如，当前缓存有t时刻、t+1时刻以及t+2时刻的超声图像和视频图像，合成并将t时刻的复合图像发送至远端后，如果远端的医护人员针对t时刻的复合图像输入了合成参数变更指令，那么就根据新的合成参数再次将t时刻的超声图像和视频图像进行合成，从而得到t时刻的复合图像’，将t时刻的复合图像’再次发送至远端，供远端的医护人员再次查看，由于t时刻的复合图像’是依照远端的医护人员所设定的合成参数得到的，因此远端的医护人员可以从t时刻的复合图像’得到想要的信息。此外，在这一过程中，如果已经依照旧的合成参数得到了t+1时刻以及t+2时刻的复合图像，那么就将得到的t+1时刻以及t+2时刻的复合图像弃用，采用新的合成参数得到t+1时刻以及t+2时刻的复合图像’，而如果还未按照旧的合成参数得到t+1时刻以及t+2时刻的复合图像，那么就直接采用新的合成参数得到t+1时刻以及t+2时刻的复合图像。对于远端的医护人员而言，修改了合成参数后，就可以一直得到根据新的合成参数得到的复合图像。本申请并不对修改合成参数的次数进行限定，即在远程医疗服务的过程中，远端的医护人员可以在任意时刻对合成参数进行修改，以不断调整想要获取的信息。

步骤S500b，中止获取目标对象进行超声检测时的超声图像和视频图像，直到由当前缓存中的各帧超声图像和视频图像得到的各帧复合图像均发送完毕。

下面以图6为例说明步骤S500b对于本方案的意义，在本例中合成参数修改了一次，同样的，在本例中以新的合成参数合成的复合图像记为复合图像’ （在图6与图7中，以第a帧’表示该帧复合图像由新的合成参数得到，其中，a为整数）。在图6中每毫秒采集并缓存一帧超声图像和一帧视频图像，而由该毫秒的超声图像和视频图像合成的复合图像，要间隔一毫秒才会发送至远端，也就是说，图6中第1毫秒所采集的第1帧超声图像和第1帧视频图像合成的第1帧复合图像，在第3毫秒才发送至远端，当第3帧复合图像发送至远端时，已缓存到了第5帧超声图像和第5帧视频图像。如果远端的医护人员针对第3帧复合图像输入合成参数变更指令，则依照上文已经说明的，此时重新根据缓存中的第3帧超声图像和第3帧视频图像，生成第3帧复合图像’，第3帧复合图像’在第6毫秒时发送至远端，而后继续依照图像帧的生成顺序合成并发送复合图像（依次生成并发送第4帧复合图像’和第5帧复合图像’）并且，从第5毫秒（接收到合成参数变更指令时）开始中止采集第6帧超声图像和第6帧视频图像，直到第8毫秒时，第5帧视频图像和第5帧超声图像合成的第5帧复合图像’发送至远端后，才开始在第9毫秒重新开始采集视频图像和超声图像，由于第8毫秒和第9毫秒时远端没有接收到复合图像，故远端的显示设备上持续显示第5帧复合图像’，直到第11毫秒才接收到第6帧复合图像’，而第6帧超声图像和第6帧视频图像是在第9毫秒采集的，由此看出，尽管合成参数经过了修改，但是采集视频图像和超声图像的时刻与对应复合图像发送至远端的时刻的间隔并没有发生改变，仍为一毫秒。也就是说，通过步骤S500b，使得改变合成参数并不会加大视频延迟。

请继续参照图7，该图中与图6的区别在于，在接收到合成参数变更指令后，并不中止采集视频图像和超声图像，可以看出，在合成参数改变之后，采集第6帧视频图像和第6帧超声图像的时刻与显示对应的第6帧复合图像’的时刻的间隔发生了改变，由一毫秒增大到了两毫秒，也就是说，如果不进行步骤S500b，那么每修改一次合成参数，视频延迟就会增大一点，这不利于远端的医生及时地发出指导信息。

上述实施例解决了图像传输以及播放中所产生的不同步问题，并且也不需要专用的播放器播放两路视频流，并且，在远程医疗服务的过程中，即便远端的医护人员更改合成参数，也不会导致远端和本地之间视频的延迟增大。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过第一处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过第一处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

获取目标对象进行超声检测时的超声图像和视频图像，所述超声图像用于指示在进行超声检测时目标对象的组织信息，所述视频图像用于指示在进行超声检测时用户的操作信息；

缓存至少一帧获取到的超声图像和至少一帧获取到的视频图像，根据设定的合成参数， 依照时间先后顺序，将缓存中各相同时刻对应的一帧超声图像和一帧视频图像分别进行合成，以得到至少一帧复合图像；

依照图像帧的生成顺序发送所述复合图像，以供远端的医护人员根据所述复合图像进行远程会诊。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

当检测到针对一帧已发送复合图像输入的合成参数变更指令，变更所述合成参数；

根据变更后的所述合成参数，自缓存中用于合成所述已发送复合图像的一帧超声图像和一帧视频图像开始，继续依照时间先后顺序对缓存中将各相同时刻对应的超声图像和视频图像分别进行合成，得到变更合成参数后的至少一帧复合图像；

依照图像帧的生成顺序发送变更合成参数后的复合图像。

3.如权利要求2所述的方法，其特征在于，所述当检测到针对一帧已发送复合图像输入的合成参数变更指令，变更所述合成参数，包括：

当接收到远端的医护人员发送的所述合成参数变更指令时，根据所述合成参数变更指令，变更所述合成参数。

4.如权利要求2所述的方法，其特征在于，当检测到针对一帧已发送复合图像输入的合成参数变更指令，所述方法还包括：

中止获取目标对象进行超声检测时的超声图像和视频图像，直到由当前缓存中的各帧超声图像和视频图像得到的各帧复合图像均发送完毕。

5.如权利要求1所述的方法，其特征在于，缓存所述超声图像和视频图像之后，将超声图像和视频图像进行合成之前，所述方法还包括:

基于同一时钟信号，将获取到的各帧超声图像和视频图像分别打上时间戳;

所述将缓存中各相同时刻对应的一帧超声图像和一帧视频图像分别进行合成，包括：

在缓存的至少一帧超声图像和至少一帧视频图像中，将具有相同时间戳的一帧超声图像和一帧视频图像进行合成。

6.如权利要求1所述的方法，其特征在于，所述合成参数包括所述视频图像的尺寸参数以及所述视频图像在超声图像上的位置参数。

7.如权利要求6所述的方法，其特征在于，将所述超声图像和所述视频图像进行合成的方式，包括：

根据所述尺寸参数缩放所述视频图像；

根据所述位置参数确定所述超声图像上的合成区域；

将缩放后的视频图像覆盖于所述超声图像的合成区域上。

8.一种超声成像系统，其特征在于，包括：

图像处理设备，用于接收目标对象进行超声检测时的超声图像和视频图像，所述超声图像用于指示在进行超声检测时目标对象的组织信息，所述视频图像用于指示在进行超声检测时用户的操作信息，所述图像处理设备还用于缓存至少一帧获取到的超声图像和至少一帧获取到的视频图像，根据设定的合成参数， 依照时间先后顺序，将缓存中各相同时刻对应的一帧超声图像和一帧视频图像分别进行合成，以得到至少一帧复合图像，依照图像帧的生成顺序发送所述复合图像，以供远端的医护人员根据所述复合图像进行远程会诊；

超声成像设备，用于在目标对象进行超声检测时采集超声图像，并将采集到的超声图像发送至所述图像处理设备；

视频成像设备，用于在目标对象进行超声检测时采集视频图像，并将采集到的视频图像发送至所述图像处理设备。

9.如权利要求8所述的系统，其特征在于，所述图像处理设备还用于：

当检测到针对一帧已发送复合图像输入的合成参数变更指令，变更所述合成参数；

根据变更后的所述合成参数，自缓存中用于合成所述已发送复合图像的一帧超声图像和一帧视频图像开始，继续依照时间先后顺序对缓存中将各相同时刻对应的超声图像和视频图像分别进行合成，得到变更合成参数后的至少一帧复合图像；

依照图像帧的生成顺序发送变更合成参数后的复合图像。

10.如权利要求9所述的系统，其特征在于，所述当检测到针对一帧已发送复合图像输入的合成参数变更指令，变更所述合成参数，包括：

当所述图像处理设备接收到远端的医护人员发送的所述合成参数变更指令时，根据所述合成参数变更指令，变更所述合成参数。

11.如权利要求9所述的系统，其特征在于，当检测到针对一帧已发送复合图像输入的合成参数变更指令，所述图像处理设备还用于控制所述超声成像设备中止采集超声图像，并控制所述视频成像设备中止采集视频图像，当所述图像处理设备将由当前缓存中的各帧超声图像和视频图像得到的各帧复合图像均发送完毕，所述图像处理设备控制所述超声成像设备继续采集所述超声图像，并控制所述视频成像设备继续采集所述视频图像。

12.如权利要求8所述的系统，其特征在于，缓存所述超声图像和视频图像之后，将超声图像和视频图像进行合成之前，所述图像处理设备还用于：

基于同一时钟信号，将获取到的各帧超声图像和视频图像分别打上时间戳;

所述将缓存中各相同时刻对应的一帧超声图像和一帧视频图像分别进行合成，包括：

在缓存的至少一帧超声图像和至少一帧视频图像中，所述图像处理设备将具有相同时间戳的一帧超声图像和一帧视频图像进行合成。

13.如权利要求8所述的系统，其特征在于，所述合成参数包括所述视频图像的尺寸参数以及所述视频图像在超声图像上的位置参数。

14.如权利要求13所述的系统，其特征在于，将所述超声图像和所述视频图像进行合成的方式，包括：

根据所述尺寸参数缩放所述视频图像；

根据所述位置参数确定所述超声图像上的合成区域；

将缩放后的视频图像覆盖于所述超声图像的合成区域上。

15.一种图像处理设备，其特征在于，包括：

超声图像接收单元，用于接收超声成像设备在目标对象进行超声检测时采集的超声图像，所述超声图像用于指示在进行超声检测时目标对象的组织信息；

视频图像接收单元，用于接收视频成像设备在目标对象进行超声检测时采集的视频图像，所述视频图像用于指示在进行超声检测时用户对所述超声成像设备的操作信息；

第一处理器，用于根据设定的合成参数，依照时间先后顺序将各相同时刻对应的超声图像和视频图像分别进行合成，以得到至少一帧复合图像；

第一通信单元，所述第一处理器用于依照图像帧的生成顺序，控制所述第一通信单元发送所述复合图像，以供远端的医护人员根据所述复合图像进行远程会诊。

Images