CN106713744A - 一种实现光绘摄影的方法、装置及拍摄设备 - Google Patents
一种实现光绘摄影的方法、装置及拍摄设备 Download PDFInfo
- Publication number
- CN106713744A CN106713744A CN201611065728.8A CN201611065728A CN106713744A CN 106713744 A CN106713744 A CN 106713744A CN 201611065728 A CN201611065728 A CN 201611065728A CN 106713744 A CN106713744 A CN 106713744A
- Authority
- CN
- China
- Prior art keywords
- registration
- image
- light
- infrared
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000010422 painting Methods 0.000 title abstract description 5
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 230000003068 static effect Effects 0.000 claims abstract description 9
- 239000003973 paint Substances 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 2
- 235000008434 ginseng Nutrition 0.000 claims 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 3
- 238000003786 synthesis reaction Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000010295 mobile communication Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 208000000058 Anaplasia Diseases 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000002463 transducing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种实现光绘摄影的方法、装置、及拍摄设备，包括：利用拍摄的红外图像获取配准信息；采用获得的配准信息对拍摄到的多帧可见光图像进行对齐处理；对配准后的可见光图像进行亮点融合，选择多帧可见光图像中像素值最大的点，以获取光绘图像。本发明利用静止物体在红外图像上进行图像配准，再将红外相机的配准参数应用到可见光相机上，保证了光绘摄影中图像合成的清晰度，提升了用户拍摄体验。
Description
技术领域
本发明涉及领域摄影技术，尤其涉及一种实现光绘摄影的方法、装置及拍摄设备。
背景技术
光绘摄影是一种简单又充满创意、令人惊讶的摄影技巧。光绘摄影需要至少两个人相互配合才能完成，因此也更加多变、更加有趣。主要是利用光源的运动而烘托环境或主体的摄影艺术方式。光源是在一段时间内运动的，而相机的感光元件，是均匀记录每一单位时刻的光线，从而记录出整个画面的光源运动轨迹。光绘摄影可以在室内、夜晚、甚至一些根本无法拍照的昏暗光线的环境下进行。
为了突出光的轨迹表现能力，目前，光绘摄影需要在光线较暗的场景进行，传统的光绘拍摄需要保持相机不动，光源移动，从而可以合成多帧光绘图像.如果拍摄过程中相机发生抖动，图像合成时会出现像素模糊。
发明内容
本发明的主要目的在于提出一种实现光绘摄影的方法、装置、及拍摄设备，能够保证光绘摄影中图像合成的清晰度，提升用户拍摄体验。
为实现上述目的，本发明实施例提供了一种实现光绘摄影的方法，包括：
利用拍摄的红外图像获取配准信息；
采用获得的配准信息对拍摄到的多帧可见光图像进行对齐处理；
对配准后的可见光图像进行亮点融合，选择多帧可见光图像中像素值最大的点，以获取光绘图像。
可选地，所述方法之前还包括：
手持具有光影摄影功能的拍摄设备；
打开红外光和可见光，拍摄场景中放置一静止的热源物体；
移动光源点，按下拍摄按键或触发虚拟拍摄按键，连续拍摄记录光源轨迹的所述多帧红外图像和所述多帧可见光图像。
可选地，所述对配准后的可见光图像进行亮点融合包括：
对于不同帧图像，取出图像帧中最亮的点作为融合像素点进行亮度融合。
可选地，如果在不同的时刻出现不同亮度的光源点，则选择亮度最高的像素点作为所述融合像素点。
可选地，所述利用拍摄的红外图像获取配准信息包括：
提取所述红外图像中的特征点作为图像配准的参考点；
建立所提取的特征点之间的对应关系，获取与不同红外图像相对应的像素点得到参考图像；
根据待配准图像与参考图像之间的几何畸变情况，选择最佳拟合两幅图像之间变化的几何变换模型；
根据选择出的集合变换模型，将待配准图像进行对应的参数变换，使待配准图像与参考图像处于同一个坐标系下。
本发明还提供了一种实现光绘摄影的装置，包括：拍摄模块、获取模块、预处理模块、处理模块，其中，
拍摄模块，用于打开红外光和可见光，打开红外光和可见光，连续拍摄记录光源轨迹的多帧红外图像和多帧可见光图像；
获取模块，用于利用拍摄的红外图像获取配准信息；
预处理模块，用于采用获得的配准信息对拍摄到的多帧可见光图像进行对齐处理；
处理模块，用于对配准后的可见光图像进行亮点融合，选择多帧可见光图像中像素值最大的点，以获取光绘图像。
可选地，所述处理模块中的对配准后的可见光图像进行亮点融合具体用于：
对于不同帧图像，取出图像帧中最亮的点作为融合像素点进行亮度融合。
可选地，如果在不同的时刻出现不同亮度的光源点，则选择亮度最高的像素点作为所述融合像素点。
可选地，所述获取模块具体用于：
提取所述红外图像中的特征点作为图像配准的参考点；
建立所提取的特征点之间的对应关系，获取与不同红外图像相对应的像素点，得到参考图像；
根据待配准图像与参考图像之间的几何畸变情况，选择最佳拟合两幅图像之间变化的几何变换模型；
根据选择出的集合变换模型，将待配准图像进行对应的参数变换，使待配准图像与参考图像处于同一个坐标系下。
本发明还提供了一种拍摄设备，包括上述任一项所述的实现光绘摄影的装置。
本发明提出的技术方案包括：利用拍摄的红外图像获取配准信息；采用获得的配准信息对拍摄到的多帧可见光图像进行对齐处理；对配准后的可见光图像进行亮点融合，选择多帧可见光图像中像素值最大的点，以获取光绘图像。本发明利用静止物体在红外图像上进行图像配准，再将红外相机的配准参数应用到可见光相机上，保证了光绘摄影中图像合成的清晰度，提升了用户拍摄体验。
附图说明
图1为实现本发明各实施例一可选的移动终端的硬件结构示意图；
图2为本发明实现光绘摄影的方法的流程图；
图3为本发明实现光绘摄影的方法的实施例的流程示意图；
图4为本发明实现光绘摄影的装置的组成结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各实施例一可选的移动终端的硬件结构示意。
移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南(ESG)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H)，前向链路媒体(MediaFLO@)的数据广播系统、地面数字广播综合服务(ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。
移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。
短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM等等。
位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是GPS(全球定位系统)。根据当前的技术，GPS模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块115能够通过实时地连续计算当前位置信息来计算速度信息。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121和麦克风1220，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机1210。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
感测单元140检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。感测单元140可以包括接近传感器1410将在下面结合触摸屏来对此进行描述。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。
显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。
警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通信(incomingcommunication)时，警报单元153可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块1810，多媒体模块1810可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。
至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。
以手持相机进行光绘拍摄为例，容易引起相机抖动，本申请发明人通过加入图像对齐流程，可以将图像进行配准，以降低图像合成时会出现的像素模糊现象。然而，本申请发明人发现，在光线较暗的场景，图像中的特征点主要集中于运动的光源点，然而，运动的像素点无法反映相机的抖动方向，不能用来进行图像配准，也就是说，需要静止的背景点保持不动，以进行配准。但是，在光绘拍摄中，由于光线过暗，以背景点作为特征点特征是不明显的，图像不容易配准。
红外相机利用热成像原理可以观测到可见光看不见的背景热源物体，比如场景中静止不动的人体。本申请发明人发现，如果利用这些静止物体在红外图像上进行图像配准，由于红外相机可见光相机的位置相对固定，手机抖动时，二值的运动方向一致，因而可以将红外相机的配准参数应用到可见光相机上，从而解决黑暗场景无法进行图像配准的问题。
图2为本发明实现光绘摄影的方法的流程图，对于具有光影摄影功能的拍摄设备，如相机、移动终端，当按下拍摄按键或触发虚拟拍摄按键时，如图2所示，包括：
步骤200：利用拍摄的红外图像获取配准信息。
红外图像为利用热传感效应获取图像像素值，彩色图像为利用光照强度获取图像像素值，因此，红外图像可以在光线暗的场景获取图像有效特征，从而可以进行图像配准。
配准方法和流程与可见光图像配准方法类似，本步骤具体实现包括：
特征提取：提取红外图像比较明显的特征点，如闭合区域、边缘、轮廓、角点等。这些特征点可以作为图像配准的参考点；
特征匹配：通过特征描述算法及相似性度量来建立所提取的特征之间的对应关系，找与不同红外图像相对应的像素点；
变换模型估计：根据待配准图像与参考图像之间的几何畸变的情况，选择能最佳拟合两幅图像之间变化的几何变换模型，常见的变换模型包括如仿射变换、透视变换、多项式变换等，其中最常用的是仿射变换和多项式变换；
坐标变换与插值：将待配准图像进行对应的参数变换，使待配准图像与参考图像处于同一个坐标系下。由于图像变换后的坐标点不一定是整数，因此，这里可以考虑一定的插值处理操作。常用的插值方法包括：最近邻插值、双线性插值、双三次插值、B样条插值、高斯插值。
本步骤之前还包括：
手持具有光影摄影功能的拍摄设备；
打开红外光和可见光，拍摄场景中放置一个静止的热源物体，比如场景中静止不动的人体；
移动光源点，按下拍摄按键或触发虚拟拍摄按键，连续拍摄记录光源轨迹的多帧红外图像和多帧可见光图像。
步骤201：采用获得的配准信息对拍摄到的多帧可见光图像进行对齐处理。
本步骤中，由于用于红外光拍摄的红外相机与可见光相机的位置相对固定，发生抖动时，二值的运动方向是一致的，因此，本步骤中，将红外相机的配准参数应用到可见光相机上，解决了黑暗场景无法进行图像配准的问题。
步骤202：对配准后的可见光图像进行亮点融合，选择多帧可见光图像中像素值最大的点，以获取光绘图像。
在夜晚场景中，光绘需要保留图像中发光点，背景像素的亮度一般很低，大都接近于0，光源点的亮度一般来说要大于背景像素的亮度，对于不同帧图像，取出图像帧中最亮的点作为最后融合像素点。对于该像素位置，如果在不同的时刻出现不同亮度的光源点，选择最亮度的点，以获取更好的光绘效果。
本步骤中的像素值可以是亮度值P。本申请中的亮度值P等同于灰度值。如果光绘摄影进行的是彩色拍摄，则需要先将色彩值转换为灰度值，再利用本发明的方法实现光绘摄影。这里，如何将色彩值转化为灰度值属于本领域技术人员的惯用技术手段，具体实现并不用于限定本发明的保护范围，这里不再赘述。
图3为本发明实现光绘摄影的方法的实施例的流程示意图，本实施例中，假设手持具有光绘摄影的相机，包括：
步骤300：打开红外光和可见光，拍摄场景中放置一个静止的热源物体，比如场景中静止不动的人体；移动光源点，并按下拍摄按键或触发虚拟拍摄按键，连续拍摄记录光源轨迹的多帧红外图像和多帧可见光图像。
步骤301：利用拍摄的红外图像获取配准信息。
红外图像利用热传感效应获取图像像素值，彩色图像利用光照强度获取图像像素值，因此，红外图像可以在光线暗的场景获取图像有效特征，从而可以进行图像配准。
步骤302：采用获得的配准信息对拍摄到的多帧可见光图像进行对齐处理。
由于用于红外光拍摄的红外相机与可见光相机的位置相对固定，发生抖动时，二值的运动方向是一致的，因此，本步骤中，将红外相机的配准参数应用到可见光相机上，解决了黑暗场景无法进行图像配准的问题。
步骤303：对配准后的可见光图像进行亮点融合，选择多帧可见光图像中像素值最大的点，以获取光绘图像。
其中，亮点融合方法大致包括：在夜晚场景中，光绘需要保留图像中发光点，背景像素的亮度一般很低，大都接近于0，光源点的亮度一般来说要大于背景像素的亮度，对于不同帧图像，取出图像帧中的最亮的点作为最后融合像素点。对于该像素位置，如果在不同的时刻出现不同亮度的光源点，选择最亮度的点，以获取更好的光绘效果。
本步骤中的像素值是亮度值P，该亮度值P等同于灰度值。
需要说明的是，如果光绘摄影进行的是彩色拍摄，则需要先将色彩值转换为灰度值，再利用本发明的方法实现光绘摄影。这里，如何将色彩值转化为灰度值属于本领域技术人员的惯用技术手段，具体实现并不用于限定本发明的保护范围，这里不再赘述。
图4为本发明实现光绘摄影的装置的组成结构示意图，如图4所示，至少包括：拍摄模块、获取模块、预处理模块和处理模块，其中，
拍摄模块，用于打开红外光和可见光，打开红外光和可见光，连续拍摄记录光源轨迹的多帧红外图像和多帧可见光图像。
获取模块，用于利用拍摄的红外图像获取配准信息。
预处理模块，用于采用获得的配准信息对拍摄到的多帧可见光图像进行对齐处理。
处理模块，用于对配准后的可见光图像进行亮点融合，选择多帧可见光图像中像素值最大的点，以获取光绘图像。
可选地，
处理模块中的亮点融合具体用于：对于不同帧图像，取出图像帧中最亮的点作为融合像素点进行亮度融合。
进一步地，如果在不同的时刻出现不同亮度的光源点，则选择亮度最高的像素点作为融合像素点，以获取更好的光绘效果。
可选地，
获取模块具体用于：
特征提取：提取图像比较明显的特征点，如闭合区域、边缘、轮廓、角点等。这些特征点可以作为图像配准的参考点；
特征匹配：通过特征描述算法及相似性度量来建立所提取的特征之间的对应关系，找出与不同红外图像相对应的像素点，得到参考图像；
变换模型估计：根据待配准图像与参考图像之间的几何畸变的情况，选择能最佳拟合两幅图像之间变化的几何变换模型，常见的变换模型包括如仿射变换、透视变换、多项式变换等，其中最常用的是仿射变换和多项式变换；
坐标变换与插值：将待配准图像进行对应的参数变换，使待配准图像与参考图像处于同一个坐标系下。由于图像变换后的坐标点不一定是整数，因此，这里可以考虑一定的插值处理操作。常用的插值方法包括：最近邻插值、双线性插值、双三次插值、B样条插值、高斯插值。
本发明还提供一种拍摄设备，包括有上述任一项所述的实现光绘摄影的装置。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种实现光绘摄影的方法，其特征在于，包括：
利用拍摄的红外图像获取配准信息；
采用获得的配准信息对拍摄到的多帧可见光图像进行对齐处理；
对配准后的可见光图像进行亮点融合，选择多帧可见光图像中像素值最大的点，以获取光绘图像。
2.根据权利要求1所述的方法，其特征在于，所述方法之前还包括：
手持具有光影摄影功能的拍摄设备；
打开红外光和可见光，拍摄场景中放置一静止的热源物体；
移动光源点，按下拍摄按键或触发虚拟拍摄按键，连续拍摄记录光源轨迹的所述多帧红外图像和所述多帧可见光图像。
3.根据权利要求1或2所述的方法，其特征在于，所述对配准后的可见光图像进行亮点融合包括：
对于不同帧图像，取出图像帧中最亮的点作为融合像素点进行亮度融合。
4.根据权利要求3所述的方法，其特征在于，如果在不同的时刻出现不同亮度的光源点，则选择亮度最高的像素点作为所述融合像素点。
5.根据权利要求1或2所述的方法，其特征在于，所述利用拍摄的红外图像获取配准信息包括：
提取所述红外图像中的特征点作为图像配准的参考点；
建立所提取的特征点之间的对应关系，获取与不同红外图像相对应的像素点得到参考图像；
根据待配准图像与参考图像之间的几何畸变情况，选择最佳拟合两幅图像之间变化的几何变换模型；
根据选择出的集合变换模型，将待配准图像进行对应的参数变换，使待配准图像与参考图像处于同一个坐标系下。
6.一种实现光绘摄影的装置，其特征在于，包括：拍摄模块、获取模块、预处理模块、处理模块，其中，
拍摄模块，用于打开红外光和可见光，打开红外光和可见光，连续拍摄记录光源轨迹的多帧红外图像和多帧可见光图像；
获取模块，用于利用拍摄的红外图像获取配准信息；
预处理模块，用于采用获得的配准信息对拍摄到的多帧可见光图像进行对齐处理；
处理模块，用于对配准后的可见光图像进行亮点融合，选择多帧可见光图像中像素值最大的点，以获取光绘图像。
7.根据权利要求6所述的装置，其特征在于，所述处理模块中的对配准后的可见光图像进行亮点融合具体用于：
对于不同帧图像，取出图像帧中最亮的点作为融合像素点进行亮度融合。
8.根据权利要求7所述的装置，其特征在于，如果在不同的时刻出现不同亮度的光源点，则选择亮度最高的像素点作为所述融合像素点。
9.根据权利要求6所述的装置，其特征在于，所述获取模块具体用于：
提取所述红外图像中的特征点作为图像配准的参考点；
建立所提取的特征点之间的对应关系，获取与不同红外图像相对应的像素点，得到参考图像；
根据待配准图像与参考图像之间的几何畸变情况，选择最佳拟合两幅图像之间变化的几何变换模型；
根据选择出的集合变换模型，将待配准图像进行对应的参数变换，使待配准图像与参考图像处于同一个坐标系下。
10.一种拍摄设备，其特征在于，包括权利要求6～权利要求9任一项所述的实现光绘摄影的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611065728.8A CN106713744A (zh) | 2016-11-28 | 2016-11-28 | 一种实现光绘摄影的方法、装置及拍摄设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611065728.8A CN106713744A (zh) | 2016-11-28 | 2016-11-28 | 一种实现光绘摄影的方法、装置及拍摄设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106713744A true CN106713744A (zh) | 2017-05-24 |
Family
ID=58934876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611065728.8A Pending CN106713744A (zh) | 2016-11-28 | 2016-11-28 | 一种实现光绘摄影的方法、装置及拍摄设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106713744A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717691A (zh) * | 2018-06-06 | 2018-10-30 | 成都西纬科技有限公司 | 一种图像融合方法、装置、电子设备及介质 |
| CN111164962A (zh) * | 2018-09-26 | 2020-05-15 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、无人机、系统及存储介质 |
| CN113096054A (zh) * | 2020-01-09 | 2021-07-09 | 北京小米移动软件有限公司 | 图像帧合成方法、装置及存储介质 |
| CN113503972A (zh) * | 2021-09-08 | 2021-10-15 | 四川大学 | 基于低像素红外像机的局部动态目标测温系统 |
| CN113596341A (zh) * | 2021-06-11 | 2021-11-02 | 北京迈格威科技有限公司 | 一种图像拍摄方法、图像处理方法、装置、电子设备 |
| WO2022174423A1 (zh) * | 2021-02-20 | 2022-08-25 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102075679A (zh) * | 2010-11-18 | 2011-05-25 | 无锡中星微电子有限公司 | 一种图像采集方法和装置 |
| CN103024281A (zh) * | 2013-01-11 | 2013-04-03 | 重庆大学 | 红外与可见光视频融合系统 |
| CN103888683A (zh) * | 2014-03-24 | 2014-06-25 | 深圳市中兴移动通信有限公司 | 移动终端及其拍摄方法 |
| CN105205818A (zh) * | 2015-09-18 | 2015-12-30 | 国网上海市电力公司 | 一种电气设备红外图像和可见光图像配准的方法 |
-
2016
- 2016-11-28 CN CN201611065728.8A patent/CN106713744A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102075679A (zh) * | 2010-11-18 | 2011-05-25 | 无锡中星微电子有限公司 | 一种图像采集方法和装置 |
| CN103024281A (zh) * | 2013-01-11 | 2013-04-03 | 重庆大学 | 红外与可见光视频融合系统 |
| CN103888683A (zh) * | 2014-03-24 | 2014-06-25 | 深圳市中兴移动通信有限公司 | 移动终端及其拍摄方法 |
| CN105205818A (zh) * | 2015-09-18 | 2015-12-30 | 国网上海市电力公司 | 一种电气设备红外图像和可见光图像配准的方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717691A (zh) * | 2018-06-06 | 2018-10-30 | 成都西纬科技有限公司 | 一种图像融合方法、装置、电子设备及介质 |
| CN108717691B (zh) * | 2018-06-06 | 2022-04-15 | 成都西纬科技有限公司 | 一种图像融合方法、装置、电子设备及介质 |
| CN111164962A (zh) * | 2018-09-26 | 2020-05-15 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、无人机、系统及存储介质 |
| CN113096054A (zh) * | 2020-01-09 | 2021-07-09 | 北京小米移动软件有限公司 | 图像帧合成方法、装置及存储介质 |
| WO2022174423A1 (zh) * | 2021-02-20 | 2022-08-25 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备及存储介质 |
| CN113596341A (zh) * | 2021-06-11 | 2021-11-02 | 北京迈格威科技有限公司 | 一种图像拍摄方法、图像处理方法、装置、电子设备 |
| CN113596341B (zh) * | 2021-06-11 | 2024-04-05 | 北京迈格威科技有限公司 | 一种图像拍摄方法、图像处理方法、装置、电子设备 |
| CN113503972A (zh) * | 2021-09-08 | 2021-10-15 | 四川大学 | 基于低像素红外像机的局部动态目标测温系统 |
| CN113503972B (zh) * | 2021-09-08 | 2022-01-18 | 四川大学 | 基于低像素红外像机的局部动态目标测温系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106502693B (zh) | 一种图像显示方法和装置 | |
| CN106713744A (zh) | 一种实现光绘摄影的方法、装置及拍摄设备 | |
| CN105404484B (zh) | 终端分屏装置及方法 | |
| CN106878588A (zh) | 一种视频背景虚化终端及方法 | |
| CN106530241A (zh) | 一种图像虚化处理方法和装置 | |
| CN108108704A (zh) | 人脸识别方法及移动终端 | |
| CN106534619A (zh) | 一种调整对焦区域的方法、装置和终端 | |
| CN106851063A (zh) | 一种基于双摄像头的曝光调节终端及方法 | |
| CN106686301A (zh) | 照片拍摄方法及装置 | |
| CN106534590B (zh) | 一种照片处理方法、装置及终端 | |
| CN106973227A (zh) | 基于双摄像头的智能拍照方法及装置 | |
| KR20160127606A (ko) | 이동 단말기 및 그 제어 방법 | |
| CN107016639A (zh) | 一种图像处理方法和装置 | |
| CN106850941A (zh) | 照片拍摄方法及装置 | |
| CN106534552B (zh) | 移动终端及其拍照方法 | |
| CN107071263A (zh) | 一种图像处理方法及终端 | |
| CN108668071A (zh) | 一种拍摄方法、装置、系统及一种移动终端 | |
| CN105242483B (zh) | 一种实现对焦的方法和装置、实现拍照的方法和装置 | |
| CN106911881A (zh) | 一种基于双摄像头的动态照片拍摄装置、方法和终端 | |
| CN106713718A (zh) | 一种基于双摄像头的对焦方法及移动终端 | |
| CN106851125A (zh) | 一种移动终端及多重曝光拍摄方法 | |
| CN106572246A (zh) | 一种摄像头开启装置、终端及摄像头开启方法 | |
| CN108650466A (zh) | 一种强光或逆光拍摄人像时提升照片宽容度的方法及电子设备 | |
| CN106791119A (zh) | 一种照片处理方法、装置及终端 | |
| CN106791016A (zh) | 一种拍照方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170524 |