CN102595231B - 图像融合方法、设备及系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开了一种图像融合方法、设备及系统。该方法包括：机顶盒与用户终端建立无线连接；所述机顶盒接收所述用户终端发送的照片；实时提取当前播放电视节目的视频图像或用户预先选择的机顶盒本地存储的视频图像；将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片；将生成的图片实时展现在电视屏幕上并存储在所述机顶盒本地的预定空间。利用本发明，可以为用户提供更丰富的图像，满足用户的个性化需求。

Description

图像融合方法、设备及系统

技术领域

本发明涉及图像处理技术领域，更具体地说，涉及一种图像融合方法、设备及系统。

背景技术

目前，随着网络信息技术的发展，以及高清电视信号的普及，使得用户可以通过高清电视获取很多漂亮的图片，如何利用这些图片为用户带来更多的娱乐成为了应用提供商开发的一个热点。

在现有技术中提供了一种数字电视的画面、伴音的截取方法及应用，该方案直接读取数字电视机或数字电视机顶盒中用来暂存MPEG-2解码结果的SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存储器)内存中的至少一帧完整的图像数据，并按照数字位图文件格式进行编码和压缩处理，将处理后的图像数据以文件格式保存到指定的数据空间中，同时从数字电视机或数字电视机顶盒中的MPEG-2解码芯片输出的数字PCM(Pulse Code Modulation，脉冲编码调制)音频流中获取数据，并保存为文件。

该方案只是将电视节目中的音、视频数据用于共享，而且获取的内容局限于电视节目内容，功能单一，无法满足用户的个性化需求。

发明内容

本发明实施例针对现有技术中存在的上述问题，提供一种图像融合方法、设备及系统，为用户提供更丰富的图像，满足用户的个性化需求。

为此，本发明实施例提供如下技术方案：

一种图像融合方法，包括：

机顶盒与用户终端建立无线连接；

所述机顶盒接收所述用户终端发送的照片；

实时提取当前播放电视节目的视频图像或用户预先选择的机顶盒本地存储的视频图像；

将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片；

将生成的图片实时展现在电视屏幕上。

优选地，所述方法还包括：

所述机顶盒在接收所述用户终端发送的照片之前，接收所述用户终端发送的启动消息；

向所述用户终端发送反馈消息，以通知所述用户终端当前是否有电视节目正在播放；

如果当前有电视节目正在播放，则显示倒计时时间，以提醒用户拍照；

如果当前没有电视节目正在播放，则显示是否进行机顶盒本地视频图像选择的提示信息，并在接收到用户的选择命令后，显示本地视频图像列表，以供用户选择。

优选地，所述将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片包括：

从所述照片中提取出融合对象；

对所述融合对象进行预处理；

将预处理后的融合对象和所述视频图像进行融合，生成包含所述融合对象的图片。

优选地，所述对所述融合对象进行预处理包括以下任意一项或多项：

对所述融合对象进行浮雕处理、轮廓提取处理、卡通画处理、缩放和截取处理。

优选地，所述方法还包括：

所述机顶盒接收所述用户终端发送的停止融合消息；

将接收到所述停止融合消息前第一设定时间至接收到所述停止融合消息后第二设定时间内生成的所述图片存储在所述机顶盒本地的预定空间。

一种图像融合方法，包括：

用户终端与机顶盒建立无线连接；

所述用户终端接收到用户启动照片创作应用的指令后，向所述机顶盒发送启动消息；

接收所述机顶盒的反馈消息；

如果所述反馈消息指示当前有电视节目正在播放，则启动摄像头；

根据用户的拍照指令控制所述摄像头生成照片；

将所述照片发送给所述机顶盒。

优选地，所述方法还包括：

所述用户终端接收到用户停止照片创作应用的指令后，向所述机顶盒发送停止融合消息；

所述用户终端将所述机顶盒融合生成并存储在所述机顶盒本地的预定空间的图片中的部分或全部下载到所述用户终端上。

一种机顶盒，包括：

连接建立单元，用于与用户终端建立无线连接；

接收单元，用于在所述连接建立单元与所述用户终端建立无线连接后，接收用户终端发送的照片；

图像提取单元，用于实时提取当前播放电视节目的视频图像或用户预先选择的所述机顶盒本地存储的视频图像；

融合处理单元，用于将所述接收单元接收的照片和所述图像提取单元提取的视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片；

显示单元，用于将所述融合处理单元生成的图片实时展现在电视屏幕上。

优选地，所述接收单元，还用于在接收所述用户终端发送的照片之前，接收所述用户终端发送的启动消息；

所述机顶盒还包括：发送单元，用于在所述接收单元接收到所述启动消息后，向所述用户终端发送反馈消息，以通知所述用户终端当前是否有电视节目正在播放；

所述显示单元，还用于在所述发送单元向所述用户终端发送反馈消息后，当前有电视节目正在播放时，显示倒计时时间，以提醒用户拍照；在当前没有电视节目正在播放时，显示是否进行机顶盒本地视频图像选择的提示信息；

所述机顶盒还包括：命令感知单元，用于接收用户的选择命令；

所述显示单元，还用于在所述命令感知单元接收到用户的选择命令后，显示本地视频图像列表，以供用户选择。

优选地，所述融合处理单元包括：

提取子单元，用于从所述照片中提取出融合对象；

预处理子单元，用于对所述融合对象进行预处理；

融合子单元，用于将所述预处理子单元预处理后的融合对象和所述视频图像进行融合，生成包含所述融合对象的图片。

优选地，所述预处理子单元对所述融合对象进行预处理包括以下任意一项或多项处理：

所述预处理子单元对所述融合对象进行浮雕处理、轮廓提取处理、卡通画处理、缩放和截取处理。

优选地，所述接收单元，还用于接收所述用户终端发送的停止融合消息；

所述机顶盒还包括：存储单元，用于在所述视频图像是所述机顶盒实时提取的当前播放电视节目的视频图像时，将所述接收单元接收到所述停止融合消息前第一设定时间至接收到所述停止融合消息后第二设定时间内生成的所述图片存储在所述机顶盒本地的预定空间。

一种用户终端，包括：

连接建立单元，用于与机顶盒建立无线连接；

命令感知单元，用于接收用户启动照片创作应用的指令；

发送单元，用于在所述命令感知单元接收到用户启动照片创作应用的指令后，向所述机顶盒发送启动消息；

接收单元，用于接收所述机顶盒的反馈消息；

摄像头控制单元，用于在所述反馈消息指示当前有电视节目正在播放时，启动摄像头，并根据用户的拍照指令控制所述摄像头生成照片；

所述发送单元，还用于将所述照片发送给所述机顶盒。

优选地，所述发送单元，还用于在所述命令感知单元接收到用户停止照片创作应用的指令后，向所述机顶盒发送停止融合消息；

所述用户终端还包括：下载单元，用于在所述发送单元向所述机顶盒发送停止融合消息后，将所述机顶盒融合生成并存储在所述机顶盒本地的预定空间的图片中的部分或全部下载到所述用户终端上。

一种图像融合系统，包括：机顶盒和用户终端；

所述用户终端，用于与所述机顶盒建立无线连接，并在建立无线连接后，将拍摄的照片发送给所述机顶盒；

所述机顶盒，用于接收所述用户终端发送的照片，实时提取当前播放电视节目的视频图像或用户预先选择的机顶盒本地存储的视频图像，将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片，并将生成的图片实时展现在电视屏幕上。

本发明实施例图像融合方法、设备及系统，通过用户终端与机顶盒建立无线连接，并在建立无线连接后，将用户终端拍摄的照片发送给机顶盒。相应地，机顶盒在接收到所述照片后，将所述照片与电视节目的视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片，并将生成的图片实时展现在电视屏幕上，从而将用户终端获取的个人视频信息与电视节目的视频图像相融合，为用户提供了一种新的图片创作的功能。利用本发明实施例图像融合方法、设备及系统，可以为用户提供更丰富的图像，满足用户的个性化需求。

附图说明

图1是本发明实施例图像融合方法的一种流程图；

图2是本发明实施例图像融合方法的另一种流程图；

图3是本发明实施例机顶盒的一种结构示意图；

图4是本发明实施例机顶盒的另一种结构示意图；

图5是本发明实施例用户终端的一种结构示意图；

图6是本发明实施例图像融合系统中用户终端与机顶盒的一种交互流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

本发明实施例图像融合方法、设备及系统，通过用户终端与机顶盒建立无线连接，并在建立无线连接后，将用户终端拍摄的照片发送给机顶盒。相应地，机顶盒在接收到所述照片后，将所述照片与电视节目的视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片，并将生成的图片实时展现在电视屏幕上，从而将用户终端获取的个人视频信息与电视节目的视频图像相融合，为用户提供了一种新的图片创作的功能。

需要说明的是，在本发明实施例中，用户终端与机顶盒可以通过无线网络，如蓝牙、WIFI(Wireless Fidelity)等建立无线连接。该无线连接可以由用户终端发起，也可以由机顶盒发起，对此本发明实施例不做限定。

下面分别从机顶盒侧和用户侧详细说明本发明实施例图像融合方法。

如图1所示，是本发明实施例图像融合方法的一种流程图，包括以下步骤：

步骤101，机顶盒与用户终端建立无线连接。

步骤102，所述机顶盒接收所述用户终端发送的照片。

上述照片可以是所述用户终端在与机顶盒建立连接前拍摄的，也可以是与机顶盒建立连接后拍摄的，对此本发明实施例不做限定。

步骤103，实时提取当前播放电视节目的视频图像或用户预先选择的机顶盒本地存储的视频图像。

由于机顶盒与用户终端建立无线连接时，电视机还未启动，机顶盒未向电视机播放自己接收的电视节目，因此，为了给用户提供更丰富的视频素材，可以在机顶盒中存储一些视频图像，这些视频图像可以是从之前播放的电视节目中截取的，也可以是设备提供商预装在机顶盒中的。用户根据自己的需要，可以选择机顶盒本地存储的视频图像进行图片创作，也可以选择当前播放电视节目的视频图像进行创作。

比如，一种简单的应用方式是：在机顶盒接收所述用户终端发送的照片后，如果当前有电视节目正在播放，则机顶盒实时提取当前播放电视节目的视频图像；如果当前没有电视节目正在播放，则机顶盒提取用户预先选择的机顶盒本地存储的视频图像。

当然，在实际应用中，还可以有其它变形方式，对此本发明实施例不做限定。

上述用户预先选择的机顶盒本地存储的视频图像可以有一个或多个，其具体过程将在后面详细说明。

步骤104，将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片。

上述融合处理过程大致包括以下三个步骤：

(1)从所述照片中提取出融合对象。

由于用户拍摄的照片中不仅包含了被拍摄对象(比如人像，静物等)的信息，而且还包括了背景信息，为了使融合后的图片有更好的视觉效果，可以仅从所述照片中提取出融合对象即被拍摄对象，而将照片中的背景去除。

(2)对所述融合对象进行预处理。

由于用户终端拍摄的照片的大小、像素等参数与电视节目中的视频图像的相应参数可能不同，而且，用户对融合后的图片的效果可能有不同的要求，因此，在某些情况下，还需要对上述提取出的融合对象进行一些相应处理。上述预处理过程可以包括以下任意一项或多项处理：对所述融合对象进行浮雕处理、轮廓提取处理、卡通画处理、缩放和截取处理等。

(3)将预处理后的融合对象和所述视频图像进行融合，生成包含所述融合对象的图片。

需要说明的是，在实际应用中，上述步骤(1)和(2)可以根据需要来选用，比如，也可以不从所述照片中提取出融合对象，而是将所述照片和所述视频图像直接进行融合处理。而且，可以针对不同的融合对象，设置不同的预处理方式，当然，也可以将支持的预处理方式提供给用户(比如，通过菜单方式显示在电视屏幕上)，由用户来选择。

步骤105，将生成的图片实时展现在电视屏幕上。

需要说明的是，为了方便用户对机顶盒生成的图片的使用，在上述步骤105之后，还可进一步包括以下步骤：所述机顶盒将生成的图片存储在所述机顶盒本地的预定空间。

前面提到，进行融合处理的视频图像可以是机顶盒实时提取的当前播放电视节目的视频图像，也可以是用户预先选择的机顶盒本地存储的视频图像。

为此，在本发明的一种具体应用实例中，所述方法还可进一步包括以下步骤：

机顶盒在接收所述用户终端发送的照片之前，接收所述用户终端发送的启动消息；

机顶盒向所述用户终端发送反馈消息，以通知所述用户终端当前是否有电视节目正在播放；

如果当前有电视节目正在播放，则显示倒计时时间，以提醒用户拍照；

如果当前没有电视节目正在播放，则显示是否进行机顶盒本地视频图像选择的提示信息，并在接收到用户的选择命令后，显示本地视频图像列表，以供用户选择。

需要说明的是，上述步骤104的融合处理过程可以针对一个或多个视频图像，分别与用户发送的照片进行融合。对于正在播放的电视节目，其视频图像是在连续变化的，因此机顶盒可以每提取一个视频节目的电视图像，即与用户发送的进行融合处理，也可以先提取一定数量的视频图像缓存在本地，然后，再逐一与用户发送的照片进行融合处理。

机顶盒可以将融合处理生成的图片实时展现在电视屏幕上，以方便用户选择。比如，在用户看到屏幕上显示的图片有满意的之后，可以通过用户终端向机顶盒发送停止融合消息。

相应地，机顶盒接收所述用户终端发送的停止融合消息，然后，将生成的图片存储在所述机顶盒本地的预定空间。

机顶盒在存储生成的图片时，可以只存储收到上述停止融合消息之前生成的图片，也可以在收到停止融合消息后，继续进行一定时间的融合处理过程，将该一定时间内生成的图片一并存储。比如，可以将接收到所述停止融合消息前第一设定时间(如2分钟)至接收到所述停止融合消息后第二设定时间(如3分钟)内生成的图片存储在所述机顶盒本地的预定空间。

当然，在实际应用中，还可以由用户来选择是否存储这些图片，对此本发明实施例不做限定。

上述图1所示实施例描述了本发明图像融合方法针对机顶盒侧的处理流程。通过上述流程，可以由机顶盒将用户终端发送的照片与电视节目的视频图片进行融合，生成新的图片，从而为用户提供更丰富的图像，满足用户的个性化需求。

如图2所示，是本发明实施例图像融合方法的另一种流程图，包括以下步骤：

步骤201，用户终端与机顶盒建立无线连接。

步骤202，所述用户终端接收到用户启动照片创作应用的指令后，向所述机顶盒发送启动消息。

在实际应用中，用户终端接收用户启动照片创作应用的指令可以通过多种方式实现。比如，可以在用户终端上设置相应的功能键，用户终端感知到用户按下了该功能键，则向所述机顶盒发送启动消息。再比如，所述用户终端也可以将不同的应用以菜单方式提供给用户，根据用户的选择，确定接收到用户启动照片创作应用的指令。当然，还可以有其它实现方式，对此本发明实施例不做限定。

步骤203，接收所述机顶盒的反馈消息。

机顶盒接收到用户终端发送的启动消息后，可以将所述用户终端反馈相应的消息，并在该消息中包含用于指示当前是否有电视节目正在播放的信息，以使用户在没有电视节目正在播放的情况下，及时做出选择。

步骤204，如果所述反馈消息指示当前有电视节目正在播放，则启动摄像头。

需要说明的是，在实际应用中，所述用户终端所带的摄像头可以由人工来启动，也可以在用户终端接收到机顶盒的反馈消息，并且该反馈消息指示当前有电视节目正在播放时，自动启动所述摄像头，以减少用户的操作。当然，即使所述反馈消息指示当前没有电视节目正在播放，用户终端也可以在接收到所述反馈消息后，自动启动所述摄像头。当然，如果所述反馈消息指示当前没有电视节目正在播放，所述用户终端也可以不执行任何操作。

步骤205，根据用户的拍照指令控制所述摄像头生成照片。

步骤206，将所述照片发送给所述机顶盒。

在上述图1所示流程中已经说明，机顶盒在接收到用户终端发送的照片后，会将所述照片与视频图像进行融合，生成新的图片，并实时显示在电视屏幕上。

这样，用户在电视屏幕上看到有自己满意的图片后，可以通过用户终端向机顶盒发送指令，以使机顶盒停止融合处理过程。具体地，用户可以向所述用户终端发送停止照片创作应用的指令，比如，通过功能键或菜单方式。所述用户终端接收到用户停止照片创作应用的指令后，向机顶盒发送停止融合消息，以使所述机顶盒停止融合处理过程。

另外，前面提到，机顶盒可以将融合处理生成的照片存储在机顶盒本地的预定空间，因此，在本发明方法另一实施例中，还可进一步包括以下步骤：所述用户终端向所述机顶盒发送停止融合消息后，将所述机顶盒融合生成并存储在所述机顶盒本地的预定空间的图片中的部分或全部下载到所述用户终端上。

上述图2所示实施例描述了本发明图像融合方法针对用户终端侧的处理流程。利用本发明实施例的方法，可以借助机顶盒将用户终端所拍摄的照片与电视节目的视频图片进行融合，生成新的图片，从而为用户提供更丰富的图像，满足用户的个性化需求。

相应地，本发明实施例还提供一种机顶盒，如图3所示，是该机顶盒的一种结构示意图。

在该实施例中，所述机顶盒包括：连接建立单元301，接收单元302，图像提取单元303，融合处理单元304和显示单元305。其中：

连接建立单元301，用于与用户终端建立无线连接；

接收单元302，用于在所述连接建立单元301与所述用户终端建立无线连接后，接收用户终端发送的照片；

图像提取单元303，用于实时提取当前播放电视节目的视频图像或用户预先选择的所述机顶盒本地存储的视频图像；

融合处理单元304，用于将所述接收单元302接收的照片和所述图像提取单元303提取的视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片；

显示单元305，用于将所述融合处理单元304生成的图片实时展现在电视屏幕上。

需要说明的是，上述图像提取单元303提取所述视频图像的过程可以是在接收单元302接收到用户终端发送的照片后执行，也可以根据用户终端发送的相应消息执行，对此本发明实施例不做限定。

上述融合处理单元304可以有多种实现方式，比如一种优选实施方式中，所述融合处理单元304包括：提取子单元，预处理子单元和融合子单元。其中：

所述提取子单元，用于从所述照片中提取出融合对象；

所述预处理子单元，用于对所述融合对象进行预处理，具体可以包括以下任意一项或多项处理：浮雕处理、轮廓提取处理、卡通画处理、缩放和截取处理等；

所述融合子单元，用于将所述预处理子单元预处理后的融合对象和所述视频图像进行融合，生成包含所述融合对象的图片。

需要说明的是，在实际应用中，上述提取子单元和预处理子单元可以根据需要来选用，而且，可以针对不同的融合对象，设置不同的预处理方式，当然，也可以将支持的预处理方式提供给用户(比如，通过菜单方式显示在电视屏幕上)，由用户来选择。

如图4所示，是本发明实施例机顶盒的另一结构示意图。

与图3所示实施例不同的是，在该实施例中，所述接收单元302还用于在接收所述用户终端发送的照片之前，接收所述用户终端发送的启动消息。

而且，在该实施例中，所述机顶盒还进一步包括：

发送单元401，用于在所述接收单元302接收到所述启动消息后，向所述用户终端发送反馈消息，以通知所述用户终端当前是否有电视节目正在播放。

相应地，在该实施例中，所述显示单元305还用于在所述发送单元401向所述用户终端发送反馈消息后，当前有电视节目正在播放时，显示倒计时时间，以提醒用户拍照；在当前没有电视节目正在播放时，显示是否进行机顶盒本地视频图像选择的提示信息。

另外，在该实施例中，所述机顶盒还进一步包括：

命令感知单元402，用于接收用户的选择命令。

相应地，所述显示单元305还用于在所述命令感知单元402接收到用户的选择命令后，显示本地视频图像列表，以供用户选择。

在本发明机顶盒的另一实施例中，所述机顶盒还可进一步包括：存储单元(未图示)，用于将所述融合处理单元304生成的图片存储在所述机顶盒本地的预定空间，以方便用户对这些图片的使用。

在该实施例中，上述接收单元302还可用于接收所述用户终端发送的停止融合消息。

相应地，所述存储单元具体可以在所述视频图像是所述机顶盒实时提取的当前播放电视节目的视频图像时，将所述接收单元接收到所述停止融合消息前第一设定时间至接收到所述停止融合消息后第二设定时间内生成的所述图片存储在所述机顶盒本地的预定空间。当然，在实际应用中，所述存储单元也可以只存储收到上述停止融合消息之前生成的图片，对此本发明实施例不做限定。

本发明实施例的机顶盒，可以与用户终端建立无线连接，并将用户终端发送的照片与电视节目的视频图片进行融合，生成新的图片，从而为用户提供更丰富的图像，满足用户的个性化需求。

相应地，本发明实施例还提供一种用户终端，如图5所示，是本发明实施例用户终端的一种结构示意图。

在该实施例中，所述用户终端包括：连接建立单元501，命令感知单元502，发送单元503，接收单元504和摄像头控制单元505。其中：

连接建立单元501，用于与机顶盒建立无线连接；

命令感知单元502，用于接收用户启动照片创作应用的指令；

发送单元503，用于在所述连接建立单元501与机顶盒建立无线连接后，并且所述命令感知单元502接收到用户启动照片创作应用的指令后，向所述机顶盒发送启动消息；

接收单元504，用于接收所述机顶盒的反馈消息；

摄像头控制单元505，用于在所述反馈消息指示当前有电视节目正在播放时，启动摄像头，并根据用户的拍照指令控制所述摄像头生成照片。

相应地，所述发送单元503还用于将所述照片发送给所述机顶盒。

在本发明用户终端另一实施例中，所述发送单元503，还用于在所述命令感知单元接收到用户停止照片创作应用的指令后，向所述机顶盒发送停止融合消息。

在本发明用户终端另一实施例中，所述用户终端还可进一步包括：下载单元(未图示)，用于在所述发送单元503向所述机顶盒发送停止融合消息后，将所述机顶盒融合生成并存储在所述机顶盒本地的预定空间的图片中的部分或全部下载到所述用户终端上。

本发明所述的用户终端可以是手机或其它终端设备。

利用本发明实施例的用户终端，可以借助机顶盒将用户终端所拍摄的照片与电视节目的视频图片进行融合，生成新的图片，从而为用户提供更丰富的图像，满足用户的个性化需求。

相应地，本发明实施例还提供一种图像融合系统，该系统包括用户终端和机顶盒，其中：

所述用户终端用于与所述机顶盒建立无线连接，并在建立无线连接后，将拍摄的照片发送给所述机顶盒；

所述机顶盒，用于接收所述用户终端发送的照片，实时提取当前播放电视节目的视频图像或用户预先选择的机顶盒本地存储的视频图像，将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片，并将生成的图片实时展现在电视屏幕上。

在该系统中，所述机顶盒还可将生成的图片存储在所述机顶盒本地的预定空间。

在本发明图像融合系统的另一实施例中，所述用户终端还可用于在与所述机顶盒建立无线连接后，接收到用户启动照片创作应用的指令时，向所述机顶盒发送启动消息。相应地，所述机顶盒，还可用于接收所述用户终端发送的启动消息，并在接收到所述启动消息后，向所述用户终端发送反馈消息，以通知所述用户终端当前是否有电视节目正在播放，并且在当前有电视节目正在播放时，显示倒计时时间，以提醒用户拍照，在当前没有电视节目正在播放时，显示是否进行机顶盒本地视频图像选择的提示信息，并在接收到用户的选择命令后，显示本地视频图像列表，以供用户选择。

另外，所述用户终端，还可用于接收所述机顶盒的反馈消息，并且在所述反馈消息指示当前有电视节目正在播放时，启动摄像头。

上述机顶盒和用户终端的具体结构可参照前面的描述，而且在实际应用中，可以有多种变形，对此本发明实施例不做限定。

下面结合图6举例详细说明本发明图像融合系统中用户终端与机顶盒的交互流程。

如图6所示，是本发明实施例图像融合系统中用户终端与机顶盒的一种典型应用流程。

在该流程中，首先在步骤601，用户终端与机顶盒建立无线连接。

上述无线连接过程可以由用户终端发起，也可以由机顶盒发起，对此本发明实施例不做限定。

在步骤602，用户终端接收到用户启动照片创作应用的指令后，向所述机顶盒发送启动消息。

在步骤603，机顶盒接收到用户终端发送的启动消息后，向用户终端发送反馈消息，以通知所述用户终端当前是否有电视节目正在播放。

同时，在步骤604，机顶盒可以根据当前是否有电视节目正在播放来显示相应的信息，比如，显示倒计时时间，以提醒用户拍照，或者则显示是否进行机顶盒本地视频图像选择的提示信息，并在接收到用户的选择命令后，显示本地视频图像列表，以供用户选择。

相应地，在步骤605，用户终端接收到机顶盒发送的反馈消息后，启动摄像头，以准备拍照。

需要说明的是，上述步骤604和步骤605在时间上没有先后顺序关系，只是表示不同设备侧的处理过程。

在步骤606，用户终端通过摄像头拍摄到照片后，将所述照片发送给机顶盒。

相应地，在步骤607，机顶盒接收到所述照片后，提取视频图像并进行融合处理过程，生成新的图片。

上述机顶盒提取的视频图像可以是当前正在播放电视节目的视频图像，或者是用户预先选择的机顶盒本地存储的视频图像，对此在前面已有详细描述。

在步骤608，机顶盒将生成的图片显示在电视屏幕上。

这样，用户可以实时地看到融合后的图片，一旦有满意的图片，可以随时通过用户终端指示机顶盒停止上述融合过程。

因此在步骤609，用户终端在接收到用户停止照片创作应用的指令后，向所述机顶盒发送停止融合消息。

相应地，在步骤610，机顶盒收到上述停止融合消息后，停止融合处理过程，并存储生成的图片。具体的存储方式及存储哪些图片在前面已有详细说明，在此不再赘述。

需要说明的是，上述流程只是本发明实施例图像融合系统的一种典型应用流程，本发明并不仅限于上述应用流程，可以根据具体需要选择其中的部分或全部步骤来实现图片的创作。

可见，利用本发明实施例的图像融合系统，用户可以通过用户终端(比如手顶)并基于机顶盒，将机顶盒播放的电视节目的视频图与用户终端拍摄的照片进行融合，生成新的图片，从而为用户提供更丰富的图像，满足用户的个性化需求。

本说明书中的各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。

Claims (13)

1.一种图像融合方法，其特征在于，包括：

机顶盒与用户终端建立无线连接；

所述机顶盒接收所述用户终端发送的启动消息；

所述机顶盒向所述用户终端发送反馈消息，以通知所述用户终端当前是否有电视节目正在播放；

如果当前有电视节目正在播放，则显示倒计时时间，以提醒用户拍照；

如果当前没有电视节目正在播放，则显示是否进行机顶盒本地视频图像选择的提示信息，并在接收到用户的选择命令后，显示本地视频图像列表，以供用户选择；

所述机顶盒接收所述用户终端发送的照片；

所述机顶盒实时提取当前播放电视节目的视频图像或用户预先选择的机顶盒本地存储的视频图像；

所述机顶盒将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片；

所述机顶盒将生成的图片实时展现在电视屏幕上。

2.如权利要求1所述的方法，其特征在于，所述将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片包括：

从所述照片中提取出融合对象；

对所述融合对象进行预处理；

将预处理后的融合对象和所述视频图像进行融合，生成包含所述融合对象的图片。

3.如权利要求2所述的方法，其特征在于，所述对所述融合对象进行预处理包括以下任意一项或多项：

对所述融合对象进行浮雕处理、轮廓提取处理、卡通画处理、缩放和截取处理。

4.如权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

所述机顶盒接收所述用户终端发送的停止融合消息；

将接收到所述停止融合消息前第一时间段的起始时刻至接收到所述停止融合消息后第二时间段的结束时刻生成的所述图片存储在所述机顶盒本地的预定空间。

5.一种图像融合方法，其特征在于，包括：

用户终端与机顶盒建立无线连接；

所述用户终端接收到用户启动照片创作应用的指令后，向所述机顶盒发送启动消息；

所述用户终端接收所述机顶盒的反馈消息；

如果所述反馈消息指示当前有电视节目正在播放，则启动用户终端的摄像头；

根据用户的拍照指令控制所述摄像头生成照片；

将所述照片发送给所述机顶盒；

所述机顶盒实时提取当前播放电视节目的视频图像或者用户预先选择的机顶盒本地存储的视频图像；

所述机顶盒将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或者部分信息的图片；

所述机顶盒将生成的图片实时展现在电视屏幕上。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

所述用户终端接收到用户停止照片创作应用的指令后，向所述机顶盒发送停止融合消息；

所述用户终端将所述机顶盒融合生成并存储在所述机顶盒本地的预定空间的图片中的部分或全部下载到所述用户终端上。

7.一种机顶盒，其特征在于，包括：

连接建立单元，用于与用户终端建立无线连接；

接收单元，用于在所述连接建立单元与所述用户终端建立无线连接后，接收所述用户终端发送的启动消息，接收用户终端发送的照片；

发送单元，用于在所述接收单元接收到所述启动消息后，向所述用户终端发送反馈消息，以通知所述用户终端当前是否有电视节目正在播放；

图像提取单元，用于实时提取当前播放电视节目的视频图像或用户预先选择的所述机顶盒本地存储的视频图像；

融合处理单元，用于将所述接收单元接收的照片和所述图像提取单元提取的视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片；

命令感知单元，用于接收用户的选择命令；

显示单元，用于在所述命令感知单元接收到用户的选择命令后，显示本地视频图像列表，以供用户选择；

所述显示单元还用于在所述发送单元向所述用户终端发送反馈消息后，当前有电视节目正在播放时，显示倒计时时间，以提醒用户拍照；在当前没有电视节目正在播放时，显示是否进行机顶盒本地视频图像选择的提示信息；

所述显示单元还用于将所述融合处理单元生成的图片实时展现在电视屏幕上。

8.如权利要求7所述的机顶盒，其特征在于，所述融合处理单元包括：

提取子单元，用于从所述照片中提取出融合对象；

预处理子单元，用于对所述融合对象进行预处理；

融合子单元，用于将所述预处理子单元预处理后的融合对象和所述视频图像进行融合，生成包含所述融合对象的图片。

9.如权利要求8所述的机顶盒，其特征在于，所述预处理子单元对所述融合对象进行预处理包括以下任意一项或多项处理：

对所述融合对象进行浮雕处理、轮廓提取处理、卡通画处理、缩放和截取处理。

10.如权利要求7至9任一项所述的机顶盒，其特征在于，

所述接收单元，还用于接收所述用户终端发送的停止融合消息；

所述机顶盒还包括：存储单元，用于在所述视频图像是所述机顶盒实时提取的当前播放电视节目的视频图像时，将所述接收单元接收到所述停止融合消息前第一时间段的起始时刻至接收到所述停止融合消息后第二时间段的结束时刻生成的所述图片存储在所述机顶盒本地的预定空间。

11.一种用户终端，其特征在于，包括：

连接建立单元，用于与机顶盒建立无线连接；

命令感知单元，用于接收用户启动照片创作应用的指令；

发送单元，用于在所述命令感知单元接收到用户启动照片创作应用的指令后，向所述机顶盒发送启动消息；

接收单元，用于接收所述机顶盒的反馈消息；

摄像头控制单元，用于在所述反馈消息指示当前有电视节目正在播放时，启动摄像头，并根据用户的拍照指令控制所述摄像头生成照片；

所述发送单元，还用于将所述照片发送给所述机顶盒，以便所述机顶盒实时提取当前播放电视节目的视频图像或者用户预先选择的机顶盒本地存储的视频图像，将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或者部分信息的图片，将生成的图片实时展现在电视屏幕上。

12.如权利要求11所述的用户终端，其特征在于，

所述发送单元，还用于在所述命令感知单元接收到用户停止照片创作应用的指令后，向所述机顶盒发送停止融合消息；

所述用户终端还包括：下载单元，用于在所述发送单元向所述机顶盒发送停止融合消息后，将所述机顶盒融合生成并存储在所述机顶盒本地的预定空间的图片中的部分或全部下载到所述用户终端上。

13.一种图像融合系统，其特征在于，包括：机顶盒和用户终端；

所述用户终端，用于向机顶盒发送启动消息以与所述机顶盒建立无线连接，并在建立无线连接后，将拍摄的照片发送给所述机顶盒；

所述机顶盒，用于接收所述用户终端发送的启动消息；向所述用户终端发送反馈消息，以通知所述用户终端当前是否有电视节目正在播放；如果当前有电视节目正在播放，则显示倒计时时间，以提醒用户拍照；如果当前没有电视节目正在播放，则显示是否进行机顶盒本地视频图像选择的提示信息，并在接收到用户的选择命令后，显示本地视频图像列表，以供用户选择；

所述机顶盒还用于接收所述用户终端发送的照片，实时提取当前播放电视节目的视频图像或用户预先选择的机顶盒本地存储的视频图像，将所述照片和所述视频图像进行融合处理，生成包含所述照片中全部或部分信息的图片，并将生成的图片实时展现在电视屏幕上。