CN104796625A - 照片的合成方法及照片合成装置 - Google Patents

Abstract

本发明公开了一种照片的合成方法，所述照片的合成方法包括以下步骤：获取照片合成装置在同一拍摄场景下分别拍摄的红外照片和彩色照片；将所述红外照片和彩色照片进行图像合成本发明还公开了一种照片合成装置。本发明提供的照片的合成方法及照片合成装置，可以合成具有特效的照片，使得照片效果更绚丽和多样，从而提高用户体验。

Description

照片的合成方法及照片合成装置

技术领域

本发明涉及摄像技术领域，尤其涉及一种照片的合成方法及照片合成装置。

背景技术

数码相机及摄像机所采用的CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)/CCD(Charge-coupled Device，电荷耦合元件)感光元件能够接收到红外波长，而用户只需配以红外滤镜即可拍摄红外照片及动态景象。纯红外摄影只能表现黑白的图像，因为我们眼中的色彩是物体对不同波长的可见光进行选择性反射和吸收的结果，而红外线是肉眼看不见的，也就没有色彩。如果选择合适的滤镜，允许一部分可见光通过，让可见光和红外线混合成像，就可保留可见光的某些色彩，从而得到接近真实的彩色红外照片。由于现有红外摄影照片的视效，很大程度上由滤镜决定，即滤镜的参数不同，则可滤出不同波长的可见光，从而得到不同的红外拍摄照片效果，但红外拍摄的滤镜通常是固定不变的，即参数不可变，这样，使得数码相机或摄像机无法拍摄出具有特效的照片。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种照片的合成方法及照片合成装置，旨在合成具有特效的照片，使得照片效果更绚丽和多样，以提高用户体验。

为实现上述目的，本发明提供一种照片的合成方法，所述照片的合成方法包括以下步骤：

获取照片合成装置在同一拍摄场景下分别拍摄的红外照片和彩色照片；

将所述红外照片和彩色照片进行图像合成。

优选地，所述将所述红外照片和彩色照片进行图像合成的步骤包括：

判断所述红外照片和彩色照片是否为同一张照片；

当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成。

优选地，所述当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成的步骤包括：

当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

保留彩色照片中所述高亮度像素区、中亮度像素区和低亮度像素区中至少一个像素区，将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

优选地，所述当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成的步骤包括：

当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

分别计算所述高亮度像素区、中亮度像素区和低亮度像素区中像素点占所述彩色照片中总像素点的比值；

根据所述比值，保留占比最高的像素区，并将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

优选地，所述当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成的步骤包括：

当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中的特征元素；

保留所述特征元素，并将所述彩色照片中除保留特征元素之外的其他区域用红外照片对应的区域进行替换。

优选地，所述判断所述红外照片和彩色照片是否为同一张照片的步骤包括：

遍历相同格式的所述红外照片和彩色照片中的像素点；

计算所述红外照片和彩色照片中各自相邻像素点的RGB差值；

记录在所述RGB差值超过预定差值时的像素点对应在所述红外照片中的第一坐标以及在所述RGB差值超过预定差值时的像素点对应在所述彩色照片中的第二坐标；

判断所述第一坐标和第二坐标是否相同，其中，在所述第一坐标和第二坐标相同时，所述红外照片和彩色照片为同一张照片。

此外，为实现上述目的，本发明还提供一种照片合成装置，所述照片合成装置包括：

获取模块，用于获取照片合成装置在同一拍摄场景下分别拍摄的红外照片和彩色照片；

合成处理模块，用于将所述红外照片和彩色照片进行图像合成。

优选地，所述合成处理模块包括：

判断单元，用于判断所述红外照片和彩色照片是否为同一张照片；

合成单元，用于当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成。

优选地，所述合成单元包括：

第一亮度获取子单元，用于当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

第一排列子单元，用于根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

第一图像合成子单元，用于保留彩色照片中所述高亮度像素区、中亮度像素区和低亮度像素区中至少一个像素区，将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

优选地，所述合成单元包括：

第二亮度获取子单元，用于当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

第二排列子单元，用于根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

第一计算子单元，用于分别计算所述高亮度像素区、中亮度像素区和低亮度像素区中像素点占所述彩色照片中总像素点的比值；

第二图像合成子单元，用于根据所述比值，保留占比最高的像素区，并将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

优选地，所述合成单元包括：

特征元素获取单元，用于当所述红外照片和彩色照片为同一张照片时，利用图像识别技术，获取所述彩色照片中的特征元素；

第三图像合成子单元，用于保留所述特征元素，并将所述彩色照片中除保留特征元素之外的其他区域用红外照片对应的区域进行替换。

优选地，所述判断单元包括：

遍历处理单元，用于遍历所述红外照片和彩色照片中的像素点；

第二计算子单元，用于计算所述红外照片和彩色照片中各自相邻像素点的RGB差值；

记录子单元，用于记录在所述RGB差值超过预定差值时的像素点对应在所述红外照片中的第一坐标以及在所述RGB差值超过预定差值时的像素点对应在所述彩色照片中的第二坐标；

坐标判断子单元，用于判断所述第一坐标和第二坐标是否相同，其中，在所述第一坐标和第二坐标相同时，所述红外照片和彩色照片为同一张照片。

本发明提供的照片的合成方法和照片合成装置，通过获取照片合成装置在同一拍摄场景下分别拍摄的红外照片和彩色照片，将所述红外照片和彩色照片进行图像合成。这样，合成后的照片呈现部分红外以及部分彩色的特效效果，使得照片的图像更绚丽和多样，从而提高用户体验。

附图说明

图1为实现本发明各个实施例的照片合成装置的硬件结构示意；

图2为如图1所示的照片合成装置的无线通信系统示意图；

图3为本发明照片的合成方法一实施例的流程示意图；

图4为图3中步骤2的细化流程示意图；

图5为图4中步骤S21的细化流程示意图；

图6为图4中步骤S22第一实施例的细化流程示意图；

图7为图4中步骤S22第二实施例的细化流程示意图；

图8为图4中步骤S22第三实施例的细化流程示意图；

图9为本发明照片合成装置一实施例的功能模块示意图；

图10为图9中合成处理模块的细化功能模块示意图；

图11为图10中判断单元的细化功能模块示意图；

图12为图10中合成单元第一实施例的细化功能模块示意图；

图13为图10中合成单元第二实施例的细化功能模块示意图；

图14为图10中合成单元第三实施例的细化功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

照片合成装置可以以各种形式来实施。例如，本发明中描述的照片合成装置可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设照片合成装置是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

图1为实现本发明各个实施例的照片合成装置如移动终端的硬件结构示意。

移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。

无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信装置或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。

广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南(ESG)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播装置接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H)，前向链路媒体(MediaFLO)的数据广播装置、地面数字广播综合服务(ISDB-T)等等的数字广播装置接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播装置以及上述数字广播装置。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。

移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。

无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。

短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙^TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂^TM等等。

位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是GPS(全球定位装置)。根据当前的技术，GPS模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块115能够通过实时地连续计算当前位置信息来计算速度信息。

A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121和麦克风122，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机121。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。

感测单元140检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或将速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。感测单元140可以包括接近传感器1410将在下面结合触摸屏来对此进行描述。

接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为“识别装置”)可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。

另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。

显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。

同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。

音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括拾音器、蜂鸣器等等。

警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通信(incoming communication)时，警报单元153可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。

存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。

存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。

控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块181，多媒体模块181可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。

电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。

至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。

参照图2，图2为图1中相机的电气结构框图。

摄影镜头1211由用于形成被摄体像的多个光学镜头构成，为单焦点镜头或变焦镜头。摄影镜头1211在镜头驱动器1221的控制下能够在光轴方向上移动，镜头驱动器1221根据来自镜头驱动控制电路1222的控制信号，控制摄影镜头1211的焦点位置，在变焦镜头的情况下，也可控制焦点距离。镜头驱动控制电路1222按照来自微型计算机1217的控制命令进行镜头驱动器1221的驱动控制。

在摄影镜头1211的光轴上、由摄影镜头1211形成的被摄体像的位置附近配置有摄像元件1212。摄像元件1212用于对被摄体像摄像并取得摄像图像数据。在摄像元件1212上二维且呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流，该光电转换电流由与各光电二极管连接的电容器进行电荷蓄积。各像素的前表面配置有拜耳排列的RGB滤色器。

摄像元件1212与摄像电路1213连接，该摄像电路1213在摄像元件1212中进行电荷蓄积控制和图像信号读出控制，对该读出的图像信号(模拟图像信号)降低重置噪声后进行波形整形，进而进行增益提高等以成为适当的信号电平。摄像电路1213与A/D转换器1214连接，该A/D转换器1214对模拟图像信号进行模数转换，向总线1227输出数字图像信号(以下称之为图像数据)。

总线1227是用于传送在相机的内部读出或生成的各种数据的传送路径。在总线1227连接着上述A/D转换器1214，此外还连接着图像处理器1215、JPEG处理器1216、微型计算机1217、SDRAM(Synchronous Dynamic random accessmemory，同步动态随机存取内存)1218、存储器接口(以下称之为存储器I/F)1219、LCD(Liquid Crystal Display，液晶显示器)驱动器1220。

图像处理器1215对基于摄像元件1212的输出的图像数据进行OB相减处理、白平衡调整、颜色矩阵运算、伽马转换、色差信号处理、噪声去除处理、同时化处理、边缘处理等各种图像处理。JPEG处理器1216在将图像数据记录于记录介质1225时，按照JPEG压缩方式压缩从SDRAM1218读出的图像数据。此外，JPEG处理器1216为了进行图像再现显示而进行JPEG图像数据的解压缩。进行解压缩时，读出记录在记录介质1225中的文件，在JPEG处理器1216中实施了解压缩处理后，将解压缩的图像数据暂时存储于SDRAM1218中并在LCD1226上进行显示。另外，在本实施方式中，作为图像压缩解压缩方式采用的是JPEG方式，然而压缩解压缩方式不限于此，当然可以采用MPEG、TIFF、H.264等其他的压缩解压缩方式。

微型计算机1217发挥作为该相机整体的控制部的功能，统一控制相机的各种处理序列。微型计算机1217连接着操作单元1223和闪存1224。

操作单元1223包括但不限于实体按键或者虚拟按键，该实体或虚拟按键可以为电源按钮、拍照键、编辑按键、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作控件，检测这些操作控件的操作状态。

将检测结果向微型计算机1217输出。此外，在作为显示器的LCD1226的前表面设有触摸面板，检测用户的触摸位置，将该触摸位置向微型计算机1217输出。微型计算机1217根据来自操作单元1223的操作位置的检测结果，执行与用户的操作对应的各种处理序列。

闪存1224存储用于执行微型计算机1217的各种处理序列的程序。微型计算机1217根据该程序进行相机整体的控制。此外，闪存1224存储相机的各种调整值，微型计算机1217读出调整值，按照该调整值进行相机的控制。

SDRAM1218是用于对图像数据等进行暂时存储的可电改写的易失性存储器。该SDRAM1218暂时存储从A/D转换器1214输出的图像数据和在图像处理器1215、JPEG处理器1216等中进行了处理后的图像数据。

存储器接口1219与记录介质1225连接，进行将图像数据和附加在图像数据中的文件头等数据写入记录介质1225和从记录介质1225中读出的控制。记录介质1225例如为能够在相机主体上自由拆装的存储器卡等记录介质，然而不限于此，也可以是内置在相机主体中的硬盘等。

LCD驱动器1210与LCD1226连接，将由图像处理器1215处理后的图像数据存储于SDRAM1218，需要显示时，读取SDRAM1218存储的图像数据并在LCD1226上显示，或者，JPEG处理器1216压缩过的图像数据存储于SDRAM1218，在需要显示时，JPEG处理器1216读取SDRAM1218的压缩过的图像数据，再进行解压缩，将解压缩后的图像数据通过LCD1226进行显示。

LCD1226配置在相机主体的背面进行图像显示。该LCD1226LCD)，然而不限于此，也可以采用有机EL等各种显示面板(LCD1226)，然而不限于此，也可以采用有机EL等各种显示面板。

基于上述移动终端硬件结构以及通信系统，提出本发明照片的合成方法各个实施例。

如图3所示，在一实施例中，所述照片的合成方法包括以下步骤：

步骤S1，获取照片合成装置在同一拍摄场景下分别拍摄的红外照片和彩色照片；

本实施例中，照片合成装置的拍摄方式可以为：先利用单独的红外拍摄仪器拍摄红外照片，然后在同一拍摄场景下，利用普通相机拍摄普通彩色照片，并将红外照片传输至拍摄普通彩色照片的终端上。本优选实施例中，利用可切换滤镜的照片合成装置，依次拍摄红外照片及彩色照片。

可以理解的是，本发明照片合成装置可以是拍照以及照片合成功能兼备的终端设备，也可以只具备照片合成功能的装置，具体可以根据实际需要合理设置。

所述照片合成装置主要具备拍照和摄像功能，整个架构如表一所示(从下往上看)：

Camera应用(.java文件+.cpp文件)
	Media Library(媒体库，OpenCore多媒体核心)
HAL层(硬件抽象层，高通设计)
	摄像头驱动(包含在Linux内核驱动)
摄像头硬件(摄像头厂商提供)

表一

其中，预览和拍照通过startPreview(开始预览)、stopPreview(停止预览)和takePicture(拍照)等接口来实现，这些接口通过JAVA(计算机编程语言)在本地调用JNI(Java Native Interface，Java本地交互界面，允许Java代码和其他语言写的代码进行交互)来实现的。

步骤S2，将所述红外照片和彩色照片进行图像合成。

本实施例中，在将所述红外照片和彩色照片进行图像合成前，会将不同格式和不同尺寸的红外照片和彩色照片转化为统一格式及统一尺寸。此外，预处理照片的方式还包括：去噪处理以及图像增强等。由于绝大部分噪音都是图像的高频分量，可以通过低通滤波器来滤除高频噪声。而对彩色照片和红外照片进行图像增强的具体方法有：对比度拉伸、直方图均衡化以及图像锐化等。对比度拉伸和直方图均衡化是在空域进行基于像素点的变换；图像锐化是在频域进行处理。这样，通过直接在图像上锐化加上图像高通滤波后的分量，可以提供图像的边缘效果；通过对比度拉伸和直方图均衡化可以提高图像的对比度，使得图像看起来差异更明显。

本发明提供的照片的合成方法，通过在同一拍摄场景下，获取照片合成装置分别拍摄的一张或多张红外照片和彩色照片，并在所述红外照片和彩色照片完成预处理后，将所述红外照片和彩色照片进行图像合成。这样，合成后的照片呈现部分红外以及部分彩色的特效效果，使得照片的图像更绚丽和多样，从而提高用户体验。

在一实施例中，如图4所示，在上述图3的实施例的基础上，本实施例中，所述步骤S2包括：

步骤S21，判断所述红外照片和彩色照片是否为同一张照片；

本实施例中，在将所述红外照片和彩色照片合成处理之前，会将不同格式和不同尺寸的红外照片和彩色照片转化为统一格式及统一尺寸，如RAW格式的8寸照片(6*9)，采用1280*960分辨率，当然，在其他实施例中，可以根据实际需要合理设置转换的照片格式和尺寸。

进一步地，参照图5，所述步骤S21包括：

步骤S211，遍历所述红外照片和彩色照片中的像素点；

步骤S212，计算所述红外照片和彩色照片中各自相邻像素点的RGB(RGB三基色值，其中R代表红色，G代表绿色，B代表蓝色)差值；

步骤S213，记录在所述RGB差值超过预定差值时的像素点对应在所述红外照片中的第一坐标以及在所述RGB差值超过预定差值时的像素点对应在所述彩色照片中的第二坐标；

步骤S214，判断所述第一坐标和第二坐标是否相同，其中，在所述第一坐标和第二坐标相同时，所述红外照片和彩色照片为同一张照片。

本实施例中，当所述红外照片和彩色照片为同一张照片时，分别遍历所述红外拍摄照片和彩色照片中的像素点，判断相邻像素点的RGB差值，若超过预定差值，则记录该像素点坐标，遍历之后，记录所有超过预定差值的像素点对应在所述红外照片和彩色照片中的第一坐标和第二坐标，将所述红外照片中的一个或多个第一坐标与彩色照片中对应的一个或多个第二坐标相比较，若判断所述所述第一坐标和第二坐标是否相同，若相同，则表示所述红外照片和彩色照片为同一张照片；否则，需要重新拍摄。

步骤S22，当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成。

本实施例中，当判断所述红外照片和彩色照片为同一张照片时，则将所述红外照片和彩色照片进行图像合成，使照片合成装置拍摄得到的照片呈现部分红外以及部分彩色的特效效果，使得照片的图像更绚丽和多样。

在第一实施例中，如图6所示，在上述图4的实施例的基础上，本实施例中，所述步骤S22包括：

步骤S221，当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

步骤S222，根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

本实施例中，获取所述彩色照片中每一像素的亮度，并根据所述亮度的大小进行从高到低的排列，将所述彩色照片分为几个区域，例如高亮度像素区、中亮度像素区和低亮度像素区。

步骤S223，保留彩色照片中所述高亮度像素区、中亮度像素区和低亮度像素区中至少一个像素区，将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

本优选实施例中，所述高亮度像素区，同时将中亮度像素区和低亮度像素区替换成红外照片中对应坐标点的像素，这样，整个图像呈现粉红色，但由于重点突出的地方还是保留有彩色视效，因此，红外和彩色二者的结合会产生奇妙的图案。

可以理解的是，在其他实施例中，也可保留中亮度部分，舍弃高亮度像素区和低亮度像素区，并替换为红外照片中对应坐标点的像素；或者可以保留高亮度像素区、中亮度像素区和低亮度像素区中的一个或两个，舍弃另外的像素区，其呈现的效果各有不同，因此照片的视效多样。

在第二实施例中，如图7所示，在上述图4的实施例的基础上，本实施例中，所述步骤S22包括：

步骤S225，当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

步骤S226，根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

本实施例中，获取所述彩色照片中每一像素的亮度，并根据所述亮度的大小进行从高到低的排列，将所述彩色照片分为几个区域，例如高亮度像素区、中亮度像素区和低亮度像素区。

步骤S227，分别计算所述高亮度像素区、中亮度像素区和低亮度像素区中像素点占所述彩色照片中总像素点的比值；

步骤S228，根据所述比值，保留占比最高的像素区，并将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

本优选实施例，按照区域划分，通过分别计算所述高亮度像素区、中亮度像素区和低亮度像素区占总像素的比值，来获得高亮度，中亮度和低亮度像素点的分布，若高亮度像素占总像素的比值最高，则保留其最高值高亮度像素区，舍弃其余两个，以此类推，也可保留中亮度像素区，舍弃其余两个。第二种实施例相对于第一种实施例，更加智能化，可以自动保留彩色中多的那部分视效。

在第三实施例中，如图8所示，在上述图4的实施例的基础上，本实施例中，所述步骤S22包括：

步骤S2210，当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中的特征元素；

本优选实施例，不以亮度来区分区域，而是利用图像识别技术智能地提取照片中的几个主要特征元素，例如智能识别出一棵树，一片海，一个人。

步骤S2211，保留所述特征元素，并将所述彩色照片中除保留特征元素之外的其他区域用红外照片对应的区域进行替换。

本实施例中，保留所述特征元素区域是彩色，其余区域均更新为红外照片对应的区域。这种方式的呈现效果，可以突出其中重点部分，从而呈现出美轮美奂的视效。

在第一实施例、第二实施例以及第三实施例中，为了防止更新像素时，相邻像素点发生锐化严重的问题，还可以对合成图像进行相邻像素点渐变处理，例如，可在锐化严重的区域取相邻的4个像素点，并计算得到平均值，用所述平均值替换原4个像素点的RGB值。此外，还可以加上高斯模糊等处理方法，使照片中的图像表现越发绚丽多样。

本发明提供一种照片合成装置10，参照图9，在一实施例中，所述照片合成装置10包括：

获取模块1，用于，获取照片合成装置10在同一拍摄场景下分别拍摄的红外照片和彩色照片；

本实施例中，照片合成装置10的拍摄方式可以为：先利用单独的红外拍摄仪器拍摄红外照片，然后在同一拍摄场景下，利用普通相机拍摄普通彩色照片，并将红外照片传输至拍摄普通彩色照片的终端上。本优选实施例中，利用可切换滤镜的照片合成装置10，依次拍摄红外照片及彩色照片。

可以理解的是，本发明照片合成装置可以是拍照以及照片合成功能兼备的终端设备，也可以只具备照片合成功能的装置，具体可以根据实际需要合理设置。

所述照片合成装置10主要具备拍照和摄像功能，整个架构如表一所示(从下往上看)：

Camera应用(.java文件+.cpp文件)
	Media Library(媒体库，OpenCore多媒体核心)
HAL层(硬件抽象层，高通设计)
	摄像头驱动(包含在Linux内核驱动)
摄像头硬件(摄像头厂商提供)

表一

其中，预览和拍照通过startPreview(开始预览)、stopPreview(停止预览)和takePicture(拍照)等接口来实现，这些接口通过JAVA(计算机编程语言)在本地调用JNI(Java Native Interface，Java本地交互界面，允许Java代码和其他语言写的代码进行交互)来实现的。

合成处理模块2，用于将所述红外照片和彩色照片进行图像合成。

本实施例中，在将所述红外照片和彩色照片进行图像合成前，会将不同格式和不同尺寸的红外照片和彩色照片转化为统一格式及统一尺寸。此外，预处理照片的方式还包括：去噪处理以及图像增强等。由于绝大部分噪音都是图像的高频分量，可以通过低通滤波器来滤除高频噪声。而对彩色照片和红外照片进行图像增强的具体方法有：对比度拉伸、直方图均衡化以及图像锐化等。对比度拉伸和直方图均衡化是在空域进行基于像素点的变换；图像锐化是在频域进行处理。这样，通过直接在图像上锐化加上图像高通滤波后的分量，可以提供图像的边缘效果；通过对比度拉伸和直方图均衡化可以提高图像的对比度，使得图像看起来差异更明显。

本发明提供的照片合成装置10，通过在同一拍摄场景下，获取照片合成装置10分别拍摄的一张或多张红外照片和彩色照片，并在所述红外照片和彩色照片完成预处理后，将所述红外照片和彩色照片进行图像合成。这样，合成后的照片呈现部分红外以及部分彩色的特效效果，使得照片的图像更绚丽和多样，从而提高用户体验。

在一实施例中，如图10所示，在上述图9的实施例的基础上，本实施例中，所述合成处理模块2包括：

判断单元21，用于判断相同格式的所述红外照片和彩色照片是否为同一张照片；

本实施例中，在将所述红外照片和彩色照片合成处理之前，会将不同格式和不同尺寸的红外照片和彩色照片转化为统一格式及统一尺寸，如RAW格式的8寸照片(6*9)，采用1280*960分辨率，当然，在其他实施例中，可以根据实际需要合理设置转换的照片格式和尺寸。

进一步地，参照图11，所述判断单元21包括：

历遍处理单元211，用于遍历相同格式的所述红外照片和彩色照片中的像素点；

第二计算子单元212，用于计算所述红外照片和彩色照片中各自相邻像素点的RGB差值；

记录子单元213，用于记录在所述RGB差值超过预定差值时的像素点对应在所述红外照片中的第一坐标以及在所述RGB差值超过预定差值时的像素点对应在所述彩色照片中的第二坐标；

坐标判断子单元214，判断所述第一坐标和第二坐标是否相同，其中，在所述第一坐标和第二坐标相同时，所述红外照片和彩色照片为同一张照片。

本实施例中，当所述红外照片和彩色照片为同一张照片时，分别遍历所述红外拍摄照片和彩色照片中的像素点，判断相邻像素点的RGB差值，若超过预定差值，则记录该像素点坐标，遍历之后，记录所有超过预定差值的像素点对应在所述红外照片和彩色照片中的第一坐标和第二坐标，将所述红外照片中的一个或多个第一坐标与彩色照片中对应的一个或多个第二坐标相比较，若判断所述所述第一坐标和第二坐标是否相同，若相同，则表示所述红外照片和彩色照片为同一张照片；否则，需要重新拍摄。

合成单元22，用于当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成。

本实施例中，当判断所述红外照片和彩色照片为同一张照片时，则将所述红外照片和彩色照片进行图像合成，使照片合成装置10拍摄得到的照片呈现部分红外以及部分彩色的特效效果，使得照片的图像更绚丽和多样。

在第一实施例中，如图12所示，在上述图10的实施例的基础上，本实施例中，所述合成单元22包括：

第一亮度获取子单元221，用于当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

第一排列子单元222，用于根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

本实施例中，获取所述彩色照片中每一像素的亮度，并根据所述亮度的大小进行从高到低的排列，将所述彩色照片分为几个区域，例如高亮度像素区、中亮度像素区和低亮度像素区。

第一替换处理子单元223，用于保留所述高亮度像素区、中亮度像素区和低亮度像素区中至少一个像素区，其他像素区用红外照片对应的区域进行替换。

本优选实施例中，所述高亮度像素区，同时将中亮度像素区和低亮度像素区替换成红外照片中对应坐标点的像素，这样，整个图像呈现粉红色，但由于重点突出的地方还是保留有彩色视效，因此，红外和彩色二者的结合会产生奇妙的图案。

可以理解的是，在其他实施例中，也可保留中亮度部分，舍弃高亮度像素区和低亮度像素区，并替换为红外照片中对应坐标点的像素；或者可以保留高亮度像素区、中亮度像素区和低亮度像素区中的一个或两个，舍弃另外的像素区，其呈现的效果各有不同，因此照片的视效多样。

在第二实施例中，如图13所示，在上述图10的实施例的基础上，本实施例中，所述合成单元22包括：

第二亮度获取子单元225，用于当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

第二排列子单元226，用于根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

本实施例中，获取所述彩色照片中每一像素的亮度，并根据所述亮度的大小进行从高到低的排列，将所述彩色照片分为几个区域，例如高亮度像素区、中亮度像素区和低亮度像素区。

第一计算子单元227，用于分别计算所述高亮度像素区、中亮度像素区和低亮度像素区中像素点占所述彩色照片中总像素点的比值；

第二图像合成子单元228，用于根据所述比值，保留占比最高的像素区，并将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

本优选实施例，按照区域划分，通过分别计算所述高亮度像素区、中亮度像素区和低亮度像素区占总像素的比值，来获得高亮度，中亮度和低亮度像素点的分布，若高亮度像素占总像素的比值最高，则保留其最高值高亮度像素区，舍弃其余两个，以此类推，也可保留中亮度像素区，舍弃其余两个。第二种实施例相对于第一种实施例，更加智能化，可以自动保留彩色中多的那部分视效。

在第三实施例中，如图14所示，在上述图10的实施例的基础上，本实施例中，所述合成单元22包括：

特征元素获取单元2210，用于当所述红外照片和彩色照片为同一张照片时，利用图像识别技术，获取所述彩色照片中的特征元素；

本优选实施例，不以亮度来区分区域，而是利用图像识别技术智能地提取照片中的几个主要特征元素，例如智能识别出一棵树，一片海，一个人。

第三图像合成子单元2211，用于保留所述特征元素，并将所述彩色照片中除保留特征元素之外的其他区域用红外照片对应的区域进行替换。

本实施例中，保留所述特征元素区域是彩色，其余区域均更新为红外照片对应的区域。这种方式的呈现效果，可以突出其中重点部分，从而呈现出美轮美奂的视效。

在第一实施例、第二实施例以及第三实施例中，为了防止更新像素时，相邻像素点发生锐化严重的问题，还可以对合成图像进行相邻像素点渐变处理，例如，可在锐化严重的区域取相邻的4个像素点，并计算得到平均值，用所述平均值替换原4个像素点的RGB值。此外，还可以加上高斯模糊等处理方法，使照片中的图像表现越发绚丽多样。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种照片的合成方法，其特征在于，所述照片的合成方法包括以下步骤：

获取照片合成装置在同一拍摄场景下分别拍摄的红外照片和彩色照片；

将所述红外照片和彩色照片进行图像合成。

2.如权利要求1所述的照片的合成方法，其特征在于，所述将所述红外照片和彩色照片进行图像合成的步骤包括：

判断所述红外照片和彩色照片是否为同一张照片；

当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成。

3.如权利要求2所述的照片的合成方法，其特征在于，所述当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成的步骤包括：

当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

保留彩色照片中所述高亮度像素区、中亮度像素区和低亮度像素区中至少一个像素区，将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

4.如权利要求2所述的照片的合成方法，其特征在于，所述当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成的步骤包括：

当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

分别计算所述高亮度像素区、中亮度像素区和低亮度像素区中像素点占所述彩色照片中总像素点的比值；

根据所述比值，保留占比最高的像素区，并将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

5.如权利要求2所述的照片的合成方法，其特征在于，所述当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成的步骤包括：

当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中的特征元素；

保留所述特征元素，并将所述彩色照片中除保留特征元素之外的其他区域用红外照片对应的区域进行替换。

6.如权利要求2所述的照片的合成方法，其特征在于，所述判断所述红外照片和彩色照片是否为同一张照片的步骤包括：

遍历所述红外照片和彩色照片中的像素点；

计算所述红外照片和彩色照片中各自相邻像素点的RGB差值；

记录在所述RGB差值超过预定差值时的像素点对应在所述红外照片中的第一坐标以及在所述RGB差值超过预定差值时的像素点对应在所述彩色照片中的第二坐标；

判断所述第一坐标和第二坐标是否相同，其中，在所述第一坐标和第二坐标相同时，所述红外照片和彩色照片为同一张照片。

7.一种照片合成装置，其特征在于，所述照片合成装置包括：

获取模块，用于获取照片合成装置在同一拍摄场景下分别拍摄的红外照片和彩色照片；

合成处理模块，用于将所述红外照片和彩色照片进行图像合成。

8.如权利要求7所述的照片合成装置，其特征在于，所述合成处理模块包括：

判断单元，用于判断所述红外照片和彩色照片是否为同一张照片；

合成单元，用于当所述红外照片和彩色照片为同一张照片时，将所述红外照片和彩色照片进行图像合成。

9.如权利要求8所述的照片合成装置，其特征在于，所述合成单元包括：

第一亮度获取子单元，用于当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

第一排列子单元，用于根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

第一图像合成子单元，用于保留彩色照片中所述高亮度像素区、中亮度像素区和低亮度像素区中至少一个像素区，将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

10.如权利要求9所述的照片合成装置，其特征在于，所述合成单元包括：

第二亮度获取子单元，用于当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中每一像素的亮度；

第二排列子单元，用于根据所述亮度的大小对所述彩色照片中的像素进行排列，得到高亮度像素区、中亮度像素区和低亮度像素区；

第一计算子单元，用于分别计算所述高亮度像素区、中亮度像素区和低亮度像素区中像素点占所述彩色照片中总像素点的比值；

第二图像合成子单元，用于根据所述比值，保留占比最高的像素区，并将所述彩色照片中除保留像素区之外的其他像素区用红外照片对应的区域进行替换。

11.如权利要求9所述的照片合成装置，其特征在于，所述合成单元包括：

特征元素获取单元，用于当所述红外照片和彩色照片为同一张照片时，获取所述彩色照片中的特征元素；

第三图像合成子单元，用于保留所述特征元素，并将所述彩色照片中除保留特征元素之外的其他区域用红外照片对应的区域进行替换。

12.如权利要求8所述的照片合成装置，其特征在于，所述判断单元包括：

遍历处理单元，用于遍历所述红外照片和彩色照片中的像素点；

第二计算子单元，用于计算所述红外照片和彩色照片中各自相邻像素点的RGB差值；

记录子单元，用于记录在所述RGB差值超过预定差值时的像素点对应在所述红外照片中的第一坐标以及在所述RGB差值超过预定差值时的像素点对应在所述彩色照片中的第二坐标；

坐标判断子单元，用于判断所述第一坐标和第二坐标是否相同，其中，在所述第一坐标和第二坐标相同时，所述红外照片和彩色照片为同一张照片。