CN105430358B - 一种图像处理方法及装置、终端 - Google Patents

一种图像处理方法及装置、终端 Download PDF

Info

Publication number
CN105430358B
CN105430358B CN201510846789.7A CN201510846789A CN105430358B CN 105430358 B CN105430358 B CN 105430358B CN 201510846789 A CN201510846789 A CN 201510846789A CN 105430358 B CN105430358 B CN 105430358B
Authority
CN
China
Prior art keywords
pixel
vector
rgb
nir
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510846789.7A
Other languages
English (en)
Other versions
CN105430358A (zh
Inventor
王睿
张啸林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201510846789.7A priority Critical patent/CN105430358B/zh
Publication of CN105430358A publication Critical patent/CN105430358A/zh
Priority to PCT/CN2016/099462 priority patent/WO2017088568A1/zh
Priority to US15/778,419 priority patent/US10516860B2/en
Application granted granted Critical
Publication of CN105430358B publication Critical patent/CN105430358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法及装置、终端，其中所述方法包括：将Bayer RGGB模式中的一个G分量替换为NIR分量，得到RGB‑NIR图像传感器；利用所述RGB‑NIR图像传感器获取RGB‑NIR RAW图像；基于向量中值法对RGB‑NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像。

Description

一种图像处理方法及装置、终端
技术领域
本发明涉及图像处理技术，尤其涉及一种图像处理方法及装置、终端。
背景技术
目前市场上的终端如手机图像传感器芯片(CCD或CMOS)的色彩信息获取大多采用CFA模式，即在像素阵列的表面覆盖一层彩色滤波阵列(Color Filter Array，CFA)。通过CFA可以获得相关的颜色信息，目前应用最广泛的CFA格式是Bayer格式滤波阵列，它应用RGGB组合规律。
然而随着红外技术的发展和应用，单一的CFA模式却无法提供图像处理所需的红外信息，同时手机作为零件集成密度较高的设备，也没有更多的空间去放置可见光及红外光图像传感器两块芯片，因为这样做即有悖于目前手机小型化的主流趋势，也毫无疑问会极大的增加生产成本。
发明内容
有鉴于此，本发明实施例为解决现有技术中存在的至少一个问题而提供一种图像处理方法及装置、终端，无需安装红外图像传感器，即可同时获得可见光及红外两幅图像，还能够节省硬件空间，从而提升用户体验。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供一种图像处理方法，将Bayer RGGB模式中的一个G分量替换为NIR分量，得到RGB-NIR图像传感器；所述方法包括：
利用所述RGB-NIR图像传感器获取RGB-NIR RAW图像；
基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像。
第一方面，本发明实施例提供一种图像处理装置，所述装置包括获取单元和解马赛克单元，其中：
所述获取单元，用于利用RGB-NIR图像传感器获取RGB-NIR RAW图像；
所述解马赛克单元，用于基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像。
第一方面，本发明实施例提供一种终端，所述终端包括RGB-NIR图像传感器、存储器和处理器，其中：
所述RGB-NIR图像传感器，为将Bayer RGGB模式中的一个G分量替换为NIR分量而得到的RGB-NIR图像传感器；
所述RGB-NIR图像传感器，用于获取RGB-NIR RAW图像；
所述存储器，用于存储所述RGB-NIR RAW图像；
所述处理器，用于利用所述RGB-NIR图像传感器获取RGB-NIR RAW图像；基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像。
本发明实施例提供的一种图像处理方法及装置、终端，将Bayer RGGB模式中的一个G分量替换为NIR分量，得到RGB-NIR图像传感器；利用所述RGB-NIR图像传感器获取RGB-NIR RAW图像；基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像；如此，无需安装红外图像传感器，即可同时获得可见光及红外两幅图像，还能够节省硬件空间，从而提升用户体验。
附图说明
图1-1为实现本发明各个实施例的一个可选的移动终端的硬件结构示意图；
图1-2为如图1-1所示的移动终端中摄影镜头的组成结构示意图；
图1-3为本发明实施例一图像处理方法的实现流程示意图；
图2-1为本发明实施例RGB-NIR分布示意图；
图2-2为本发明实施例提供的RBG-NIR色滤波阵列的RAW图；
图2-3为本发明实施例在解马赛克处理时采用的垂直和水平查找方式示意图；
图2-4为本发明实施例在解马赛克处理时采用的水平和对角线查找方式示意图；
图3为本发明实施例三图像处理装置的实现流程示意图；
图4为本发明实施例四终端的实现流程示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明的技术方案，并不用于限定本发明的保护范围。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1-1为实现本发明各个实施例的移动终端的硬件结构示意，如图1-1所示，移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1-1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括移动通信模块112、无线互联网模块113和短程通信模块114中的至少一个。
移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。
短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM等等。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机(摄影镜头)121和麦克风1220，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图像或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机121。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为“识别装置”)可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152等等。
显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现或回放多媒体数据的多媒体模块181，多媒体模块181可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图像绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。
至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
本发明实施例中所述移动终端还包括摄影镜头，参见图1-2所示，摄影镜头1211由用于形成被摄体像的多个光学镜头构成，为单焦点镜头或变焦镜头。摄影镜头1211在镜头驱动器1221的控制下能够在光轴方向上移动，镜头驱动器1221根据来自镜头驱动控制电路1222的控制信号，控制摄影镜头1211的焦点位置，在变焦镜头的情况下，也可控制焦点距离。镜头驱动控制电路1222按照来自微型计算机1217的控制命令进行镜头驱动器1221的驱动控制。
在摄影镜头1211的光轴上、由摄影镜头1211形成的被摄体像的位置附近配置有摄像元件1212。摄像元件1212用于对被摄体像摄像并取得摄像图像数据。在摄像元件1212上二维且呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流，该光电转换电流由与各光电二极管连接的电容器进行电荷蓄积。各像素的前表面配置有拜耳排列的RGB滤色器。
摄像元件1212与摄像电路1213连接，该摄像电路1213在摄像元件1212中进行电荷蓄积控制和图像信号读出控制，对该读出的图像信号(模拟图像信号)降低重置噪声后进行波形整形，进而进行增益提高等以成为适当的信号电平。摄像电路1213与A/D转换器1214连接，该A/D转换器1214对模拟图像信号进行模数转换，向总线1227输出数字图像信号(以下称之为图像数据)。
总线1227是用于传送在相机的内部读出或生成的各种数据的传送路径。在总线1227连接着上述A/D转换器1214，此外还连接着图像处理器1215、JPEG处理器1216、微型计算机1217、SDRAM(Synchronous Dynamic random access memory，同步动态随机存取内存)1218、存储器接口(以下称之为存储器I/F)1219、LCD(Liquid Crystal Display，液晶显示器)驱动器1220。
图像处理器1215对基于摄像元件1212的输出的图像数据进行OB相减处理、白平衡调整、颜色矩阵运算、伽马转换、色差信号处理、噪声去除处理、同时化处理、边缘处理等各种图像处理。JPEG处理器1216在将图像数据记录于记录介质1225时，按照JPEG压缩方式压缩从SDRAM1218读出的图像数据。此外，JPEG处理器1216为了进行图像再现显示而进行JPEG图像数据的解压缩。进行解压缩时，读出记录在记录介质1225中的文件，在JPEG处理器1216中实施了解压缩处理后，将解压缩的图像数据暂时存储于SDRAM1218中并在LCD1226上进行显示。另外，在本实施方式中，作为图像压缩解压缩方式采用的是JPEG方式，然而压缩解压缩方式不限于此，当然可以采用MPEG、TIFF、H.264等其他的压缩解压缩方式。
微型计算机1217发挥作为该相机整体的控制部的功能，统一控制相机的各种处理序列。微型计算机1217连接着操作单元1223和闪存1224。
操作单元1223包括但不限于实体按键或者虚拟按键，该实体或虚拟按键可以为电源按钮、拍照键、编辑按键、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作控件，检测这些操作控件的操作状态。
将检测结果向微型计算机1217输出。此外，在作为显示器的LCD1226的前表面设有触摸面板，检测用户的触摸位置，将该触摸位置向微型计算机1217输出。微型计算机1217根据来自操作单元1223的操作位置的检测结果，执行与用户的操作对应的各种处理序列。
闪存1224存储用于执行微型计算机1217的各种处理序列的程序。微型计算机1217根据该程序进行相机整体的控制。此外，闪存1224存储相机的各种调整值，微型计算机1217读出调整值，按照该调整值进行相机的控制。
SDRAM1218是用于对图像数据等进行暂时存储的可电改写的易失性存储器。该SDRAM1218暂时存储从A/D转换器1214输出的图像数据和在图像处理器1215、JPEG处理器1216等中进行了处理后的图像数据。
存储器接口1219与记录介质1225连接，进行将图像数据和附加在图像数据中的文件头等数据写入记录介质1225和从记录介质1225中读出的控制。记录介质1225例如为能够在相机主体上自由拆装的存储器卡等记录介质，然而不限于此，也可以是内置在相机主体中的硬盘等。
LCD驱动器1210与LCD1226连接，将由图像处理器1215处理后的图像数据存储于SDRAM1218，需要显示时，读取SDRAM1218存储的图像数据并在LCD1226上显示，或者，JPEG处理器1216压缩过的图像数据存储于SDRAM1218，在需要显示时，JPEG处理器1216读取SDRAM1218的压缩过的图像数据，再进行解压缩，将解压缩后的图像数据通过LCD1226进行显示。
LCD1226配置在相机主体的背面进行图像显示。该LCD1226LCD，然而不限于此，也可以采用有机EL等各种显示面板(LCD1226)，然而不限于此，也可以采用有机EL等各种显示面板。
基于上述移动终端硬件结构以及摄影镜头，提出本发明方法各个实施例。在本发明以下的实施例中，将提出了一种新型的CFA阵列模式，即将原始的Bayer RGGB模式中的一个G分量替换为NIR分量(即近红外分量)，同时针对该RGB-NIR图像传感器所获得原始RAW图像，提出了一种新的针对该多光谱模式的颜色插值方法，从而可以在一次拍照的情况下，同时获得可见光RGB及近红外NIR共两张全尺寸图像。因此，本发明实施例提供的技术方案，具有节省硬件空间，不在分别需要红外及可见光两个图像传感器去获得相应图像；由于不需要红外图像传感器，因而同时节省了相应的生产成本；通过一次拍照就可以获得可见光及红外两幅图像，为后续其他相关的图像处理操作提供了极大的方便，节约时间和人力成本。
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
实施例一
本发明实施例提供一种图像处理方法，应用于终端，所述终端包括通过将BayerRGGB模式中的一个G分量替换为NIR分量而得到RGB-NIR图像传感器；该方法所实现的功能可以通过终端中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该终端至少包括处理器和存储介质。
图1-3为本发明实施例一图像处理方法的组成结构示意图，如图1-3所示，所述方法包括：
步骤S101，利用所述RGB-NIR图像传感器获取RGB-NIR RAW图像；
步骤S102，基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像。
本发明实施例中，步骤S101，所述基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像，包括：
步骤S111，利用第一像素集合的光谱颜色信息构成所述第一像素的N维向量；
这里，所述第一像素为所述RGB-NIR RAW图像中的每一个像素，所述第一像素集合为所述第一像素周围的像素，所述N为光谱颜色分量的数目；
这里，所述步骤S111，所述利用第一像素周围的像素的光谱颜色信息构成所述第一像素的每一个光谱颜色分量的向量，包括：
步骤S1111，按照水平和对角线查找方式、或垂直和水平查找方式确定所述第一像素集合；
步骤S1112，获取第一像素集合的光谱颜色信息；
步骤S1113，利用第一像素集合的光谱颜色信息构成所述第一像素的每一个光谱颜色分量的向量。
步骤S112，根据所述N维向量中每一维向量的元素值确定对应的向量的中值；
步骤S113，将所述第一像素的N维向量对应的N个中值组成N维中值向量x＝{x1,...xn}，其中xi为N维向量中第i个向量的中值，1≤i≤N；
步骤S114，按照将x＝{x1,...xn}转换为y＝{r,φ1,...φn-1}；
步骤S115，对N-1维向量{φ1,...φn-1}进行二维中值滤波；
步骤S116，将滤波后的值在N维欧式空间里根据对每个向量计算得到成即为最终像素向量。
本法实施例中，步骤S112，所述根据所述N维向量中每一维向量的元素值确定所述第一像素的N维向量的中值，包括：
步骤S1121，对于每一向量中的元素xi，计算其和邻域元素xj的一维距离和二维距离求其和即Si，即Si＝S1 i+S2 i；
步骤S1122，将所述Si中的最小值所对应的元素xi确定为对应向量的中值。
本发明实施例提供的技术方案，由于不需要红外图像传感器，不仅节省了相应的生产成本，而且节省硬件空间，不在分别需要红外及可见光两个图像传感器去获得相应图像；通过一次拍照就可以获得可见光及红外两幅图像，为后续其他相关的图像处理操作提供了极大的方便，节约时间和人力成本。
实施例二
传统的CFA工作方式是在图像传感器芯片上镀一层色彩滤波膜，一般为Bayer模式，即RGGB排列，该滤波膜只能允许相应颜色谱的光谱信息通过，所以最终每个像素只能获取一个颜色信息，而缺失另外两个颜色信息，这时候得到的是一幅RAW图即马赛克图。为了得到全彩色的图像，需要利用其周围像素点的色彩信息来估计出缺失的另外两种颜色，这种处理叫作色彩插值，也称作解马赛克。本发明实施例提出的一种新型颜色滤波矩阵，将传统Bayer模式中的RGGB中的某个G分量替换为NIR分量，其中图2-1为本发明实施例RGB-NIR分布示意图，如图2-1所示，图2-1的a图为传统Bayer模式中的RGGB的分布示意图，图2-1的b图为本发明实施例中RGB-NIR的分布示意图，从图2-1可以看出，本发明实施例将传统Bayer模式中的RGGB中的某个G分量替换为NIR分量。在获取到通过RBG-NIR颜色滤波阵列的RAW图(如图2-2所示)后，通过相应的插值算法最终获取RGB和近红外NIR两幅全尺寸图像。
基于图2-1所示的RGB-NIR分布，本发明实施例基于向量中值法对原始的多光谱RGB-NIR RAW图像进行解马赛克处理，该解马赛克处理过程包括：
首先，对每个像素在其周围像素内寻找其伪像素构成向量，寻找规则按垂直、水平或对角线任意组合查找均可(图2-3所示)；例如在上图2-2中，已知编号22的像素块为B通道像素，为了求出编号22像素块上其它R、G、NIR通道值，使用垂直水平方法寻找B22点周围8个像素构成如下伪像素向量组合：
然后，在对每个光谱颜色分量(R、G、B、NIR)使用伪像素向量表示后可进行插值，具体步骤如下：
1)对于每个向量中的元素xi，计算其和邻域元素xj的一维距离和二维距离求其和即Si，即Si＝S1 i+S2 i。
2)找出Si中的最小值所对应的元素xi，即为该向量中值。
3)分别求出该像素块上各个光谱颜色所对应的向量中值组成x＝{x1,...xn}；
其中，N表示每个像素块对应的颜色光谱个数，如编号22块对应N＝4，即(R、G、B、NIR)而后按如下公式1转换为y＝{r,φ1,...φn-1}；
公式(2-2)；
4)对N-1维向量{φ1,...φn-1}进行二维中值滤波；
5)将滤波后的值在N维欧式空间里(N＝4)根据公式(2-3)对每个向量计算得到成即为最终像素向量。
公式(2-3)。
本发明实施例中，基于G-NIR的替代方案还提出了一种新的针对该多光谱模式的颜色插值方法，从而可以在一次拍照的情况下，同时获得可见光RGB及近红外NIR共两张全尺寸图像，其中基于向量中值法对原始的多光谱RGB-NIRRAW图像进行解马赛克处理，即对每个像素在其周围像素内寻找其伪像素构成向量，寻找规则按垂直、水平或对角线任意组合查找均可，得到全尺寸的RGB和近红外NIR两张全尺寸图像。可见，本发明实施例中，由于不需要红外图像传感器，因而同时节省了相应的生产成本；通过一次拍照就可以获得可见光及红外两幅图像，为后续其他相关的图像处理操作提供了极大的方便，节约时间和人力成本。
实施例三
基于前述的方法实施例，本发明实施例再提供一种图像处理装置，该装置所包括的各单元，以及各单元所包括的各模块，以及各模块所包括的各子模块，都可以通过终端中的处理器来实现，当然也可通过具体的逻辑电路实现；在具体实施例的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图3为本发明实施例三图像处理装置的组成结构示意图，如图3所示，该装置300包括获取单元301和解马赛克单元302，其中：
所述获取单元，用于利用RGB-NIR图像传感器获取RGB-NIR RAW图像；
所述解马赛克单元，用于基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像。
本发明实施例中，所述解马赛克单元302进一步包括构成模块、确定模块、组成模块、转换模块、滤波模块和计算模块，其中：
所述构成模块，用于利用第一像素集合的光谱颜色信息构成所述第一像素的N维向量，所述第一像素为所述RGB-NIR RAW图像中的每一个像素，所述第一像素集合为所述第一像素周围的像素，所述N为光谱颜色分量的数目；
所述确定模块，用于根据所述N维向量中每一维向量的元素值确定对应的向量的中值；
所述组成模块，用于将所述第一像素的N维向量对应的N个中值组成N维中值向量x＝{x1,...xn}，其中xi为N维向量中第i个向量的中值，1≤i≤N；
所述转换模块，用于按照将x＝{x1,...xn}转换为y＝{r,φ1,...φn-1}；
所述滤波模块，用于对N-1维向量{φ1,...φn-1}进行二维中值滤波；
所述计算模块，用于将滤波后的值在N维欧式空间里根据对每个向量计算得到成即为最终像素向量。
本发明实施例中，所述构成模块包括确定子模块、获取子模块和构成子模块，其中：
所述确定子模块，用于按照水平和对角线查找方式、或垂直和水平查找方式确定所述第一像素集合；
所述获取子模块，用于获取第一像素集合的光谱颜色信息；
所述构成子模块，用于利用第一像素集合的光谱颜色信息构成所述第一像素的每一个光谱颜色分量的向量。
本发明实施例，所述确定模块包括计算子模块和确定子模块，其中：
所述计算子模块，用于对于每一向量中的元素xi，计算其和邻域元素xj的一维距离和二维距离求其和即Si，即Si＝S1 i+S2 i；
所述确定子模块，用于将所述Si中的最小值所对应的元素xi确定为对应向量的中值。
这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。
实施例四
基于前述的方法实施例，本发明实施例再提供一种终端，图4为本发明实施例四终端的组成结构示意图，如图4所示，该终端400包括RGB-NIR图像传感器401、存储器402和处理器403，其中：
所述RGB-NIR图像传感器401，为将Bayer RGGB模式中的一个G分量替换为NIR分量而得到的RGB-NIR图像传感器；
所述RGB-NIR图像传感器401，用于获取RGB-NIR RAW图像；
所述存储器402，用于存储所述RGB-NIR RAW图像；
所述处理器403，用于利用所述RGB-NIR图像传感器获取RGB-NIR RAW图像；基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像。
这里需要指出的是：以上终端实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明终端实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种图像处理方法，其特征在于，将Bayer RGGB模式中的一个G分量替换为NIR分量，得到RGB-NIR图像传感器；所述方法包括：
利用所述RGB-NIR图像传感器获取RGB-NIR RAW图像；
基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像；
其中，所述基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像，包括：
利用第一像素集合的光谱颜色信息构成所述第一像素的N维向量，所述第一像素为所述RGB-NIR RAW图像中的每一个像素，所述第一像素集合为所述第一像素周围的像素，所述N为光谱颜色分量的数目；
根据所述N维向量中每一维向量的元素值确定对应的向量的中值；
将所述第一像素的N维向量对应的N个中值组成N维中值向量x＝{x1,...xn}，其中xi为N维向量中第i个向量的中值，1≤i≤N；
按照将x＝{x1,...xn}转换为y＝{r,φ1,...φn-1}；
对N-1维向量{φ1,...φn-1}进行二维中值滤波；
将滤波后的值在N维欧式空间里根据对每个向量计算得到成即为最终像素向量。
2.根据权利要求1所述的方法，其特征在于，所述利用第一像素周围的像素的光谱颜色信息构成所述第一像素的每一个光谱颜色分量的向量，包括：
按照水平和对角线查找方式、或垂直和水平查找方式确定所述第一像素集合；
获取第一像素集合的光谱颜色信息；
利用第一像素集合的光谱颜色信息构成所述第一像素的每一个光谱颜色分量的向量。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述N维向量中每一维向量的元素值确定所述第一像素的N维向量的中值，包括：
对于每一向量中的元素xi，计算其和邻域元素xj的一维距离和二维距离求其和即Si，即Si＝S1 i+S2 i；
将所述Si中的最小值所对应的元素xi确定为对应向量的中值。
4.一种图像处理装置，其特征在于，所述装置包括获取单元和解马赛克单元，其中，所述解马赛克单元包括构成模块、确定模块、组成模块、转换模块、滤波模块和计算模块；其中：
所述获取单元，用于利用RGB-NIR图像传感器获取RGB-NIRRAW图像；
所述解马赛克单元，用于基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像；
其中，所述构成模块，用于利用第一像素集合的光谱颜色信息构成所述第一像素的N维向量，所述第一像素为所述RGB-NIR RAW图像中的每一个像素，所述第一像素集合为所述第一像素周围的像素，所述N为光谱颜色分量的数目；
所述确定模块，用于根据所述N维向量中每一维向量的元素值确定对应的向量的中值；
所述组成模块，用于将所述第一像素的N维向量对应的N个中值组成N维中值向量x＝{x1,...xn}，其中xi为N维向量中第i个向量的中值，1≤i≤N；
所述转换模块，用于按照将x＝{x1,...xn}转换为y＝{r,φ1,...φn-1}；
所述滤波模块，用于对N-1维向量{φ1,...φn-1}进行二维中值滤波；
所述计算模块，用于将滤波后的值在N维欧式空间里根据对每个向量计算得到成即为最终像素向量。
5.根据权利要求4所述的装置，其特征在于，所述构成模块包括确定子模块、获取子模块和构成子模块，其中：
所述确定子模块，用于按照水平和对角线查找方式、或垂直和水平查找方式确定所述第一像素集合；
所述获取子模块，用于获取第一像素集合的光谱颜色信息；
所述构成子模块，用于利用第一像素集合的光谱颜色信息构成所述第一像素的每一个光谱颜色分量的向量。
6.根据权利要求4或5所述的装置，其特征在于，所述确定模块包括计算子模块和确定子模块，其中：
所述计算子模块，用于对于每一向量中的元素xi，计算其和邻域元素xj的一维距离和二维距离求其和即Si，即
所述确定子模块，用于将所述Si中的最小值所对应的元素xi确定为对应向量的中值。
7.一种终端，其特征在于，所述终端包括RGB-NIR图像传感器、存储器和处理器，其中：
所述RGB-NIR图像传感器，为将Bayer RGGB模式中的一个G分量替换为NIR分量而得到的RGB-NIR图像传感器；
所述RGB-NIR图像传感器，用于获取RGB-NIR RAW图像；
所述存储器，用于存储所述RGB-NIR RAW图像；
所述处理器，用于利用所述RGB-NIR图像传感器获取RGB-NIR RAW图像；基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像；
其中，所述基于向量中值法对RGB-NIR RAW图像进行解马赛克处理，得到RGB和近红外NIR图像，包括：
利用第一像素集合的光谱颜色信息构成所述第一像素的N维向量，所述第一像素为所述RGB-NIR RAW图像中的每一个像素，所述第一像素集合为所述第一像素周围的像素，所述N为光谱颜色分量的数目；
根据所述N维向量中每一维向量的元素值确定对应的向量的中值；
将所述第一像素的N维向量对应的N个中值组成N维中值向量x＝{x1,...xn}，其中xi为N维向量中第i个向量的中值，1≤i≤N；
按照将x＝{x1,...xn}转换为y＝{r,φ1,...φn-1}；
对N-1维向量{φ1,...φn-1}进行二维中值滤波；
将滤波后的值在N维欧式空间里根据对每个向量计算得到成即为最终像素向量。
CN201510846789.7A 2015-11-26 2015-11-26 一种图像处理方法及装置、终端 Active CN105430358B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510846789.7A CN105430358B (zh) 2015-11-26 2015-11-26 一种图像处理方法及装置、终端
PCT/CN2016/099462 WO2017088568A1 (zh) 2015-11-26 2016-09-20 一种图像处理方法及装置、终端、存储介质
US15/778,419 US10516860B2 (en) 2015-11-26 2016-09-20 Image processing method, storage medium, and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510846789.7A CN105430358B (zh) 2015-11-26 2015-11-26 一种图像处理方法及装置、终端

Publications (2)

Publication Number Publication Date
CN105430358A CN105430358A (zh) 2016-03-23
CN105430358B true CN105430358B (zh) 2018-05-11

Family

ID=55508257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510846789.7A Active CN105430358B (zh) 2015-11-26 2015-11-26 一种图像处理方法及装置、终端

Country Status (3)

Country Link
US (1) US10516860B2 (zh)
CN (1) CN105430358B (zh)
WO (1) WO2017088568A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430358B (zh) * 2015-11-26 2018-05-11 努比亚技术有限公司 一种图像处理方法及装置、终端
US10496891B2 (en) * 2017-08-17 2019-12-03 Harman International Industries, Incorporated Driver assistance system and method for object detection and notification
CN108460805B (zh) * 2018-01-18 2020-11-17 西安理工大学 一种利用传统数码相机获取rgb和红外图像的方法
US20220087749A1 (en) * 2020-02-07 2022-03-24 Smith & Nephew, Inc. Augmented reality ready optical tracking system
CN111355937B (zh) * 2020-03-11 2021-11-16 北京迈格威科技有限公司 图像处理方法、装置和电子设备
CN112017169A (zh) * 2020-08-25 2020-12-01 重庆大学 一种马赛克图片的处理方法
CN112351172B (zh) * 2020-10-26 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN113115112B (zh) * 2021-06-16 2021-09-21 上海齐感电子信息科技有限公司 验证平台和验证方法
CN114679542B (zh) * 2022-03-25 2024-04-16 三星半导体(中国)研究开发有限公司 图像处理方法和电子装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー
US8692198B2 (en) * 2010-04-21 2014-04-08 Sionyx, Inc. Photosensitive imaging devices and associated methods
US20120056988A1 (en) * 2010-09-07 2012-03-08 David Stanhill 3-d camera
KR20120114895A (ko) * 2011-04-08 2012-10-17 삼성전자주식회사 내시경 장치 및 상기 내시경 장치의 영상 획득 방법
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
KR101767093B1 (ko) * 2012-12-14 2017-08-17 한화테크윈 주식회사 색감 복원 방법 및 장치
KR101926489B1 (ko) * 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
KR20140125984A (ko) * 2013-04-19 2014-10-30 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치와 시스템
US20150062347A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
US20150363913A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Adaptive filter demosaicizing for super resolution
CN105430358B (zh) * 2015-11-26 2018-05-11 努比亚技术有限公司 一种图像处理方法及装置、终端

Also Published As

Publication number Publication date
CN105430358A (zh) 2016-03-23
US20180352201A1 (en) 2018-12-06
US10516860B2 (en) 2019-12-24
WO2017088568A1 (zh) 2017-06-01

Similar Documents

Publication Publication Date Title
CN105430358B (zh) 一种图像处理方法及装置、终端
EP2533520B1 (en) Image sensor having HDR capture capability
CN112529775A (zh) 一种图像处理的方法和装置
CN105491358B (zh) 一种图像处理方法及装置、终端
CN104380727B (zh) 图像处理装置和图像处理方法
CN105516423A (zh) 移动终端、数据传输系统及移动终端拍摄方法
CN104380706B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
CN105959554A (zh) 视频拍摄装置及方法
CN105469357B (zh) 图像处理方法、装置及终端
CN105611264B (zh) 一种自动白平衡方法及装置
CN105120164B (zh) 连拍照片的处理装置及方法
CN109729246A (zh) 一种多摄像头电路结构、终端及计算机可读存储介质
CN106385579A (zh) 一种摄像头检测装置、方法及多摄像头终端
CN104796625A (zh) 照片的合成方法及照片合成装置
CN104811624A (zh) 红外拍摄方法及装置
CN107197138A (zh) 一种拍摄装置、方法和移动终端
CN104584532A (zh) 图像处理装置、摄像装置、计算机、图像处理方法及程序
CN105357441B (zh) 一种图像采集方法及移动终端
WO2021031339A1 (zh) 终端、拍摄方法及存储介质
CN104365090A (zh) 图像处理系统、发送侧装置及接收侧装置
CN104221149A (zh) 摄像元件以及摄像装置
CN104967772B (zh) 拍照方法和装置
CN107071277A (zh) 一种光绘拍摄装置、方法和移动终端
CN105430265A (zh) 一种增大摄像头成像范围的方法及装置
CN108370415B (zh) 图像处理装置及图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant