CN114338962B - 成像方法和装置 - Google Patents
成像方法和装置 Download PDFInfo
- Publication number
- CN114338962B CN114338962B CN202011058209.5A CN202011058209A CN114338962B CN 114338962 B CN114338962 B CN 114338962B CN 202011058209 A CN202011058209 A CN 202011058209A CN 114338962 B CN114338962 B CN 114338962B
- Authority
- CN
- China
- Prior art keywords
- signal
- image
- light
- resolution
- optical signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003287 optical effect Effects 0.000 claims abstract description 164
- 238000003384 imaging method Methods 0.000 claims abstract description 67
- 238000001228 spectrum Methods 0.000 claims abstract description 16
- 238000005286 illumination Methods 0.000 claims description 178
- 238000012545 processing Methods 0.000 claims description 65
- 230000004927 fusion Effects 0.000 claims description 29
- 239000013589 supplement Substances 0.000 claims description 17
- 238000001429 visible spectrum Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 34
- 230000006854 communication Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 25
- 241000023320 Luma <angiosperm> Species 0.000 description 23
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 23
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000007726 management method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000001502 supplementing effect Effects 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请提供一种成像方法和装置。本申请成像方法包括：获取被拍摄对象的反射光信号；通过分光单元将反射光信号分离成第一光信号和第二光信号，分光单元用于分光谱和分能量；根据第一光信号获取第一图像信号；根据第二光信号获取第二图像信号；其中，第一图像信号的分辨率高于第二图像信号的分辨率。本申请既可以保留低分辨率图像的高信噪比，又可以获取高分辨率图像，从而可以得到色彩更鲜艳、更高清的图像。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种成像方法和装置。
背景技术
很多摄像机在晚上拍摄时，存在图像质量差、成像模糊等问题，无法满足低照度场景，尤其是夜间的拍摄需求。目前市面上出现了一些面向低照度场景拍摄的技术，使用红外光补光，然后利用“分光谱棱镜”将照进摄像头的光信号分成750nm以下和750nm以上的两束光信号，对这两束光信号分别用两个图像传感器(sensor)成像，然后再将两个成像结果融合成一张彩色图像。
但是，随着sensor的分辨率提升，sensor的信噪比会下降，导致低照度场景的成像效果较差。
发明内容
本申请提供一种成像方法和装置，既可以保留低分辨率图像的高信噪比，又可以获取高分辨率图像，从而可以得到色彩更鲜艳、更高清的图像。
第一方面，本申请提供一种成像方法，包括：获取被拍摄对象的反射光信号；通过分光单元将反射光信号分离成第一光信号和第二光信号，分光单元用于分光谱和分能量；根据第一光信号获取第一图像信号；根据第二光信号获取第二图像信号；在第一照度场景下，根据第一图像信号和第二图像信号获取第一目标图像；或者，在第二照度场景下，根据第一图像信号获取第二目标图像；其中，第一图像信号的分辨率高于第二图像信号的分辨率；第二照度场景的光照强度大于第一照度场景的光照强度。
本申请可以通过光捕获模块(例如镜头)捕获被拍摄对象的反射光信号，该反射光信号与照射在镜头上的光线一致，即自然光反射后仍然是自然光，红外光反射后也仍然是红外光，光线的反射不会改变其中的光信号的波长。因此本申请的反射光信号可以包括太阳发出的自然光(亦称为可见光)、日光灯发出的可见光、红外补光灯发出的红外光等。
分光单元可以采用分光棱镜，该分光单元可以将反射光信号中的可见光信号和红外光信号分离开，以达到分光谱的目的；分光单元还用于将可见光信号分成占10％～40％的可见光谱能量的第一分量信号和占60％～90％的可见光谱能量的第二分量信号。其中第一分量信号和红外光信号组成第一光路上的第一光信号，第二分量信号组成第二光路上的第二光信号。第一光信号输入第一图像传感器，第二光信号输入第二图像传感器，第一图像传感器的分辨率高于第二图像传感器的分辨率。第一图像传感器经过光电转换将第一光信号转换成第一图像信号(例如后缀名为.raw图像)，第二图像传感器经过光电转换将第二光信号转换成第二图像信号(例如后缀名为.raw图像)。由于随着图像传感器的分辨率的提升，图像传感器中的感光面上单位像素面积会减小，进而减少了感光的光子数量，导致信噪比下降。尤其在低照度场景(上述第一照度场景)下，由于彩色光路上的进光量不足，分辨率的提升会严重影响色彩效果。上述方法中通过大小分辨率两个图像传感器，形成大小分辨率的图像传感器组合，小分辨率的图像传感器用于彩色路成像，只接收可见光信号；大分辨率的图像传感器同时接收可见光信号和红外光信号，白天可以直接实现大分辨率的彩色成像，晚上用大分辨率的红外图像(灰度图)和小分辨率彩色图像(色度图)融合。从而实现白天晚上都支持大分辨率成像。
可选的，在第一照度场景下，开启红外补光灯照射被拍摄对象，并且关闭红外滤光片，以使第一光信号包括可见光信号的第一分量信号和由红外补光灯反射得到的红外光信号；第二光信号包括可见光信号的第二分量信号。
在第一照度场景下，红外补光灯工作，发出红外光信号，因此反射光信号包括可见光信号和来自红外补光灯的红外光信号。分光单元利用光学原理，对反射光信号进行光谱和能量分离得到第一光信号和第二光信号，其中第一光信号包括可见光信号的第一分量信号(例如10％的可见光信号)和由红外补光灯反射得到的红外光信号，第二光信号包括可见光信号的第二分量信号(例如90％的可见光信号)。
本申请中可以根据第一图像信号获取第一灰度图；根据第二图像信号获取第二灰度图和色度图；将第一灰度图和第二灰度图进行灰度融合得到第三灰度图像；将第三灰度图和色度图进行色彩融合得到第一目标图像；其中，第一灰度图的分辨率高于第二灰度图的分辨率；第一灰度图的分辨率高于色度图的分辨率。
由于第一光信号包含可见光信号的部分分量和红外光信号，因此基于第一光信号转换而来的第一图像信号可以得到黑白色的第一灰度(luma)图。本申请中根据第一图像信号获取第一灰度图，此处涉及ISP的图像处理算法，即将.raw格式的原始图片转换为人眼可见的图像。
由于第二光信号只包含可见光信号的部分分量，可见光信号中也包含红外光信号(参照自然光的光谱)，本申请中对基于第二光信号转换而来的第二图像信号进行灰度和色度分离得到黑白色的第二灰度(luma)图和彩色的色度(chroma)图，此处也涉及ISP的图像处理算法，即将.raw格式的原始图片转换为人眼可见的图像，同时将RGB格式转换为YUV格式，并对YUV格式的图像进行分离。
由于第一图像传感器的分辨率高于第二图像传感器的分辨率，亦即第一图像传感器的感光面包含的像素点比第二图像传感器的感光面包含的像素点多，因此第一图像获取单元得到的第一图像信号的分辨率高于第二图像获取单元得到的第二图像信号的分辨率。相应的，第一灰度(luma)图的分辨率高于第二灰度(luma)图的分辨率，第一灰度(luma)图的分辨率也高于和色度(chroma)图的分辨率。
本申请中将第一灰度(luma)图和第二灰度(luma)图进行灰度融合，可以得到第三灰度(luma)图，该第三灰度(luma)图的高分辨率与上述第一灰度图的分辨率相同。再将第三灰度(luma)图和色度(chroma)图进行色彩融合，即可得到目标图像，该目标图像的分辨率也与上述第一灰度图的分辨率相同。
由于随着图像传感器的分辨率的提升，图像传感器中的感光面上单位像素面积会减小，进而减少了感光的光子数量，导致信噪比下降。尤其在低照度场景(上述第一照度场景)下，由于彩色光路上的进光量不足，分辨率的提升会严重影响色彩效果。上述方法中通过大小分辨率两个图像传感器，形成大小分辨率的图像传感器组合，小分辨率的图像传感器用于彩色路成像，只接收可见光信号；大分辨率的图像传感器同时接收可见光信号和红外光信号，白天可以直接实现大分辨率的彩色成像，晚上用大分辨率的红外图像(灰度图)和小分辨率彩色图像(色度图)融合。从而实现白天晚上都支持大分辨率成像。
本申请通过分光单元对反射光信号进行分离，然后通过高分辨率和低分辨率两个图像传感器分别对分离得到的光信号进行光电转换得到对应的图像信号，进而将其转换成对应的图像，借助两步融合处理(灰度融合和色彩融合)得到最终的目标图像，其中灰度融合时，第一灰度图中也包含可见光信号，可以实现同谱配准，提高图像的融合效率，而灰度融合和色彩融合均是高分辨率和低分辨率的两个图像之间的融合，既可以保留低分辨率图像的高信噪比，又可以获取高分辨率图像，从而可以得到色彩更鲜艳、更高清的图像。
可选的，在第二照度下，关闭红外补光灯，并且开启红外滤光片，以使第一光信号包括可见光信号的第一分量信号但不包括红外光信号；第二光信号包括可见光信号的第二分量信号。
在第二照度场景下，成像装置中的红外补光灯不工作，红外滤光片工作，因此反射光信号包括可见光信号和来自自然界的红外光信号。成像装置中的分光单元利用光学原理，对反射光信号进行分离得到第一光信号和第二光信号，其中第一光信号包括可见光信号的第一分量信号(例如10％的可见光信号)和来自自然界的红外光信号，第二光信号包括可见光信号的第二分量信号(例如90％的可见光信号)。
红外滤光片将第一光信号中的红外光信号过滤掉，因此到达第一图像获取单元的第一光信号只包括可见光信号的第一分量信号。
第一图像传感器将第一光信号转换为电信号，形成初具图像雏形的第一图像信号，该第一图像信号是经光电转换的电信号，构成例如后缀名为.raw图像。由于第一光信号包含可见光信号，因此该第一图像信号是彩色的可见光图像信号。
第二图像传感器将第二光信号转换为电信号，形成初具图像雏形的第二图像信号，该第二图像信号也是经光电转换的电信号，构成例如后缀名为.raw图像。由于第二光信号只包含可见光信号，因此该第二图像信号是彩色的可见光图像信号。
同理，第一图像信号的分辨率高于第二图像信号的分辨率。图像处理模块根据第一图像信号得到目标图像，该目标图像的分辨率与第一图像信号的分辨率相同，高于第二图像信号的分辨率。
为了减少运算量，图像处理单元可以只用第二图像信号进行光照强度的检测，无需采用该第二图像信号进行图像融合。该第二照度场景下，可以直接获取到高分辨率图像，提高图像的成像效果。
在一种可能的实现方式中，还包括：根据第二光信号判断当前光照场景；当第二光信号对应的光照强度小于第一阈值时，确定当前光照场景为第一照度场景；当光照强度大于或等于第一阈值时，确定当前光照场景为第二照度场景；或者，当第二光信号对应的信号增益大于第二阈值时，确定当前光照场景为第一照度场景；或者，当信号增益小于或等于第二阈值时，确定当前光照场景为第二照度场景。
上述第一阈值和第二阈值可以预先根据历史数据或经验进行设置。光照强度例如可以通过成像装置上的光传感器进行检测。信号增益例如可以通过第二图像获取单元中的图像传感器进行检测。
第二方面，本申请提供一种成像装置，包括：光捕获模块，用于获取被拍摄对象的反射光信号；分光模块，用于通过分光单元将所述反射光信号分离成第一光信号和第二光信号，所述分光单元用于分光谱和分能量；图像获取模块，用于根据所述第一光信号获取第一图像信号；根据所述第二光信号获取第二图像信号；其中，所述第一图像信号的分辨率高于所述第二图像信号的分辨率。
在一种可能的实现方式中，还包括：图像处理模块，用于在第一照度场景下，根据所述第一图像信号和所述第二图像信号获取第一目标图像；或者，在第二照度场景下，根据所述第一图像信号获取第二目标图像；其中，所述第二照度场景的光照强度大于所述第一照度场景的光照强度。
在一种可能的实现方式中，所述分光单元用于将所述反射光信号中的可见光信号和红外光信号分离开，以达到分光谱的目的；所述分光单元还用于将所述可见光信号分成占10％～40％的可见光谱能量的第一分量信号和占60％～90％的可见光谱能量的第二分量信号。
在一种可能的实现方式中，在所述第一照度下，所述图像处理模块，还用于开启红外补光灯照射所述被拍摄对象，并且关闭红外滤光片，以使所述第一光信号包括可见光信号的第一分量信号和由所述红外补光灯反射得到的红外光信号；所述第二光信号包括所述可见光信号的第二分量信号。
在一种可能的实现方式中，在所述第二照度下，所述图像处理模块，还用于关闭红外补光灯，并且开启红外滤光片，以使所述第一光信号包括可见光信号的第一分量信号但不包括红外光信号；所述第二光信号包括所述可见光信号的第二分量信号。
在一种可能的实现方式中，所述图像获取模块，具体用于将所述第一光信号输入第一图像传感器获取所述第一图像信号；将所述第二光信号输入第二图像传感器获取所述第二图像信号；其中，所述第一图像传感器的分辨率高于所述第二图像传感器的分辨率。
在一种可能的实现方式中，所述图像处理模块，具体用于根据所述第一图像信号获取第一灰度图；根据所述第二图像信号获取第二灰度图和色度图；将所述第一灰度图和所述第二灰度图进行灰度融合得到第三灰度图像；将所述第三灰度图和所述色度图进行色彩融合得到所述第一目标图像；其中，所述第一灰度图的分辨率高于所述第二灰度图的分辨率；所述第一灰度图的分辨率高于所述色度图的分辨率。
在一种可能的实现方式中，所述图像处理模块，还用于根据所述第二光信号判断当前光照场景；当所述第二光信号对应的光照强度小于第一阈值时，确定所述当前光照场景为所述第一照度场景；当所述光照强度大于或等于所述第一阈值时，确定所述当前光照场景为所述第二照度场景；或者，当所述第二光信号对应的信号增益大于第二阈值时，确定所述当前光照场景为所述第一照度场景；或者，当所述信号增益小于或等于所述第二阈值时，确定所述当前光照场景为所述第二照度场景。
第三方面，本申请提供一种终端设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面中任一项所述的方法。
第四方面，本申请提供一种计算机可读存储介质，其特征在于，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行上述第一方面中任一项所述的方法。
第五方面，本申请提供一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于执行上述第一方面中任一项所述的方法。
附图说明
图1为本申请成像装置实施例的流程图；
图2为本申请设备实施例的示例性的框图；
图3为本申请成像方法实施例的过程300的流程图；
图4为本申请成像方法实施例的示例性的框架图；
图5为本申请成像装置实施例的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书实施例和权利要求书及附图中的术语“第一”、“第二”等仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
以下是本申请涉及到的术语解释：
照度：光照强度是指单位面积上接受的可见光的能量，简称照度，单位为勒克斯(Lux或lx)。照度可以用于表示物体被照明的程度，亦即物体表面所得到的光通量与被照面积之比。例如，在夏季，阳光直接照射下，照度可达60000lx～100000lx；没有太阳的室外，照度可达1000lx～10000lx；明朗的室内，照度可达100lx～550lx；夜间满月下，照度可达0.2lx。
本申请涉及两个应用场景，即第一照度场景和第二照度场景，第一照度场景的照度小于第二照度场景的照度。例如，第一照度场景可以是指夜晚无光照下、昏暗的室内、日常光照较差的阴暗角落等；第二照度场景可以是指白天室外、白天光照充足的室内、有充足的灯光照射的室内或室外等。
YUV：一种像素的色彩空间格式，Y是像素的亮度(luma)分量，表示亮度或灰度水平强度，基于亮度分量的图像是黑白图像；UV是像素的色度(chroma)分量，表示像素色彩，基于色度分量的图像是彩色图像。
可见光：亦称为可见光信号。电磁波谱中人眼可以感知的部分，其波长例如为400nm-750nm之间。
红外光：亦称为红外光信号。频率介于微波与可见光之间的电磁波，其波长大于750nm，例如760nm-1mm之间。
棱镜：由透明材料(例如玻璃、水晶等)做成的多面体，用于分光或使光束发生色散。棱镜是在光谱仪器中应用很广。例如，把复合光分解为光谱的“色散棱镜”，较常用的是等边三棱镜；或者，改变光的进行方向，从而调整其成像位置的“全反射棱镜”，较常用的是潜望镜、双目望远镜等仪器中的直角棱镜。
图像传感器(sensor)：利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号，其中感光面划分成很多小单元，每个小单元对应一个像素点。例如，拜耳(Bayer)传感器，将RGB滤色器排列在感光面之上，形成马赛克彩色滤色阵列(color filter array)，这种彩色滤色阵列中有50％是绿色，用于感绿光，25％是红色，用于感红光，25％是蓝色，用于感蓝光。
信噪比：sensor感受到的信号强度和产生的噪声强度的比例。通常在镜头和sensor尺寸不变的情况下，sensor的信噪比和感光面上单个像素点的面积正相关。例如，1/1.8英寸的sensor，400万像素，每个像素点占用3um，如果将分辨率提升到800万像素，每个像素点占用2um。很显然单个像素点对应的感光面面积减小，使得其接受的光信号减弱，进而降低了信噪比。
异谱图像：不同光谱成像的图像。例如，波长在400nm-750nm属于可见光，波长在750nm-850nm属于红外光，这两种光的成像图像即是异谱图像。
图1为本申请成像装置实施例的流程图，如图1所示，该成像装置可以包括：光捕获单元10、分光单元20、第一图像获取单元30、第二图像获取单元40和图像处理单元50。其中，光捕获单元10的输出端和分光单元20的输入端连接；分光单元20的两个输出端分别连接第一图像获取单元30的输入端和第二图像获取单元40的输入端；第一图像获取单元30的输出端和第二图像获取单元40的输出端分别连接图像处理单元50的一个输入端。
光捕获单元10用于捕获被拍摄对象的反射光信号。例如，光捕获单元10可以是摄像机或照相机的镜头，光线(或光信号)照射在被拍摄对象上，经被拍摄对象反射后被镜头捕获。前述光线可以是被拍摄对象所处环境中的任意光源发出的，其可以包括太阳发出的自然光(亦称为可见光)、日光灯发出的可见光、红外补光灯发出的红外光等。光捕获单元10负责捕获反射光信号，该反射光信号与前述光线一致，即自然光反射后仍然是自然光，红外光反射后也仍然是红外光，光线的反射不会改变其中的光信号的波长。
分光单元20用于将反射光信号分离成第一光信号和第二光信息号，并将第一光信号传输给第一图像获取单元，将第二光信号传输给第二图像获取单元。分光单元20可以采用棱镜，利用棱镜的光学原理，把反射光信号分解为两路光信号，以便在后续的模块中分别对该两路光信号进行独立处理。
第一图像获取单元30用于根据第一光信号生成第一图像信号，将第一图像信号传输给图像处理单元；第二图像获取单元40用于根据第二光信号生成第二图像信号，将第二图像信号传输给图像处理单元；第一图像信号的分辨率高于第二图像信号的分辨率。第一图像获取单元30和第二图像获取单元40分别包括一个图像传感器，以将入射的光信号转换为电信号，形成初具图像雏形的图像信号，例如Bayer传感器通过彩色滤色阵列让相应的光信号打在感光面上，由感光面对接收的光信号进行光电转换得到对应的电信号，感光面上的所有像素点的电信号形成图像信号。通常Bayer传感器输出的图像格式可以是成像装置内部的原始图片，其后缀名为.raw。第一图像信号的分辨率高于第二图像信号的分辨率，是由于第一图像获取单元30中的图像传感器的分辨率高于第二图像获取单元40中的图像传感器的分辨率，亦即第一图像获取单元30中的图像传感器的感光面包含的像素点比第二图像获取单元40中的图像传感器的感光面包含的像素点多。
图像处理单元50用于根据第一图像信号和第二图像信号获取目标图像。图像处理单元50可以是任意一种具备数据处理能力和运算能力的处理器或处理芯片，亦即在前述处理器或处理芯片上运行的软件程序。例如，图像处理单元50可以采用集成在图像信号处理器(image signal processor，ISP)的片上系统(system on chip，SOC)，SOC是在单个芯片上集成一个完整的系统，对所有或部分必要的电子电路进行包分组的技术。完整的系统一般包括中央处理器、存储器、以及外围电路等。
可选的，成像装置还可以包括：补光单元60，该补光单元60和图像处理单元50连接。补光单元60可以是任意提供红外光信号的装置，例如红外补光灯。本申请可以通过图像处理单元50控制补光单元60的工作状态，例如补光单元60可以只在第一照度场景下工作，目的是为了补足光照强度；或者补光单元60可以一直处于工作状态，以应付照度变化较大或变化较频繁的情况。
可选的，成像装置还可以包括：滤光单元70，该滤光单元70设置于分光单元20的输出端和第一图像获取单元30的输入端之间。滤光单元70可以是具备过滤掉某一波长或某一范围内波长光信号功能的任意一种器件，尤其是过滤掉波长大于750nm的红外光，例如红外光滤波片。本申请中滤光单元70可以只在第二照度场景下工作，目的是为了在照度较高时，过滤掉红外光信号。
图像处理单元50还用于根据第二图像信号判断当前光照场景是第一照度场景，还是第二照度场景。例如，根据第二图像信号检测光照强度，当光照强度小于第一阈值时，确定当前光照场景为第一照度场景；或者，当光照强度大于或等于第一阈值时，确定当前光照场景为第二照度场景。又例如，根据第二图像信号检测信号增益，当信号增益大于第二阈值时，确定当前光照场景为第一照度场景；或者，当信号增益小于或等于第二阈值时，确定当前光照场景为第二照度场景。上述第一阈值和第二阈值可以预先根据历史数据或经验进行设置。光照强度例如可以通过成像装置上的光传感器进行检测。信号增益例如可以通过第二图像获取单元40中的图像传感器进行检测。
成像装置在在第一照度场景下，补光单元60工作，滤光单元70停止工作。
光捕获单元10获取的反射光信号可以包括可见光信号和来自红外补光灯(例如补光单元60)的第一红外光信号。分光单元20将上述反射光信号分离成包括可见光信号的第一分量信号(例如10％的可见光信号)和第一红外光信号的第一光信号，以及包括可见光信号的第二分量信号(例如90％的可见光信号)的第二光信号。
第一图像获取单元30根据第一光信号得到第一图像信号，该第一图像信号是经光电转换的电信号，构成例如后缀名为.raw原始图片。由于第一光信号包含红外光信号，因此该第一图像信号是黑白色的第一灰度图信号。
第二图像获取单元40根据第二光信号得到第二图像信号，该第二图像信号也是经光电转换的电信号，构成例如后缀名为.raw原始图片。由于第二光信号只包含可见光信号，因此该第二图像信号是彩色的可见光图像信号。
图像处理单元50对第二图像信号进行亮度和色度分离得到第二灰度图和色度(chroma)图，基于第一图像信号得到第一灰度图。由于第一图像获取单元30中的图像传感器的分辨率高于第二图像获取单元40中的图像传感器的分辨率，因此上述第一灰度图的分辨率高于上述第二灰度(luma)图和色度(chroma)图的分辨率。图像处理单元50将第一灰度图和第二灰度图信号进行灰度融合，可以得到第三灰度(luma)图，该第三灰度(luma)图的高分辨率与上述第一灰度图的分辨率相同。图像处理单元50再将第三灰度(luma)图和色度(chroma)图进行色彩融合，即可得到目标图像，该目标图像的分辨率也与上述第一灰度图的分辨率相同。
该第一照度场景下，灰度融合时，第一灰度图中也包含可见光信号，可以实现同谱配准，提高图像的融合效率，而灰度融合和色彩融合均是高分辨率和低分辨率的两个图像之间的融合，既可以保留低分辨率图像的高信噪比，又可以获取高分辨率图像，从而可以得到色彩更鲜艳、更高清的图像。
成像装置在在第二照度场景下，补光单元60停止工作，滤光单元70工作。
光捕获单元10获取的反射光信号可以包括可见光信号和来自自然界的红外光信号。分光单元20将上述反射光信号分离成包括可见光信号的第一分量信号(例如10％的可见光信号)和来自自然界的红外光信号的第一光信号，以及包括可见光信号的第二分量信号(例如90％的可见光信号)的第二光信号。
滤光单元70将第一光信号中的红外光信号过滤掉，因此到达第一图像获取单元30的第一光信号只包括可见光信号的第一分量信号。
第一图像获取单元30根据第一光信号得到第一图像信号，该第一图像信号是经光电转换的电信号，构成例如后缀名为.raw原始图片。由于第一光信号只包含可见光信号，因此该第一图像信号是彩色的可见光图像信号。
第二图像获取单元40根据第二光信号得到第二图像信号，该第二图像信号也是经光电转换的电信号，构成例如后缀名为.raw原始图片。由于第二光信号只包含可见光信号，因此该第二图像信号也是彩色的可见光图像信号。本申请中第二图像信号为低分辨率，为了减少运算量，可以只用第二图像信号进行光照强度的检测，图像处理单元50无需采用第二图像信号进行图像融合。
图像处理单元50基于上述第一图像信号得到目标图像，该目标图像的分辨率与第一图像信号的分辨率相同，高于上述第二图像信号的分辨率。
该第二照度场景下，可以直接获取到高分辨率图像，提高图像的成像效果。
上述成像装置可以应用于智能手机、平板电脑、摄像机、监控摄像头等具备拍摄功能的设备。图2为本申请设备实施例的示例性的框图，图2示出了设备为手机时的结构示意图。
如图2，手机200可以包括处理器210，外部存储器接口220，内部存储器221，通用串行总线(universal serial bus，USB)接口230，充电管理模块240，电源管理模块241，电池242，天线1，天线2，移动通信模块250，无线通信模块260，音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，传感器模块280，按键290，马达291，指示器292，摄像头293，显示屏294，以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括压力传感器280A，陀螺仪传感器280B，气压传感器280C，磁传感器280D，加速度传感器280E，距离传感器280F，接近光传感器280G，指纹传感器280H，温度传感器280J，触摸传感器280K，环境光传感器280L，骨传导传感器280M、图像传感器280N等。
可以理解的是，本申请实施例示意的结构并不构成对手机200的具体限定。在本申请另一些实施例中，手机200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
配合摄像头293和图像传感器280N，本申请中的处理器210可以实现图1所示成像装置中的图像处理单元50的功能。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。
在一些实施例中，处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器210可以包含多组I2C总线。处理器210可以通过不同的I2C总线接口分别耦合触摸传感器280K，充电器，闪光灯，摄像头293等。例如：处理器210可以通过I2C接口耦合触摸传感器280K，使处理器210与触摸传感器280K通过I2C总线接口通信，实现手机200的触摸功能。
I2S接口可以用于音频通信。在一些实施例中，处理器210可以包含多组I2S总线。处理器210可以通过I2S总线与音频模块270耦合，实现处理器210与音频模块270之间的通信。在一些实施例中，音频模块270可以通过I2S接口向无线通信模块260传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块270与无线通信模块260可以通过PCM总线接口耦合。在一些实施例中，音频模块270也可以通过PCM接口向无线通信模块260传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器210与无线通信模块260。例如：处理器210通过UART接口与无线通信模块260中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块270可以通过UART接口向无线通信模块260传递音频信号，实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器210与显示屏294，摄像头293等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器210和摄像头293通过CSI接口通信，实现手机200的拍摄功能。处理器210和显示屏294通过DSI接口通信，实现手机200的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器210与摄像头293，显示屏294，无线通信模块260，音频模块270，传感器模块280等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
USB接口230是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口230可以用于连接充电器为手机200充电，也可以用于手机200与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他手机，例如AR设备等。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对手机200的结构限定。在本申请另一些实施例中，手机200也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块240可以通过USB接口230接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块240可以通过手机200的无线充电线圈接收无线充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为手机供电。
电源管理模块241用于连接电池242，充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210，内部存储器221，显示屏294，摄像头293，和无线通信模块260等供电。电源管理模块241还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块241也可以设置于处理器210中。在另一些实施例中，电源管理模块241和充电管理模块240也可以设置于同一个器件中。
手机200的无线通信功能可以通过天线1，天线2，移动通信模块250，无线通信模块260，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手机200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块250可以提供应用在手机200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中，移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器270A，受话器270B等)输出声音信号，或通过显示屏294显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器210，与移动通信模块250或其他功能模块设置在同一个器件中。
无线通信模块260可以提供应用在手机200上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，手机200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得手机200可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
手机200通过GPU，显示屏294，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏294和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏294用于显示图像，视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，手机200可以包括1个或N个显示屏294，N为大于1的正整数。
手机200可以通过ISP，摄像头293，视频编解码器，GPU，显示屏294以及应用处理器等实现拍摄功能。
ISP用于处理摄像头293反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头293中。本申请中ISP可以根据第一图像信号和第二图像信号获取目标图像。还可以根据第二图像信号判断当前光照场景是第一照度场景，还是第二照度场景。可选的，ISP对第二图像信号进行亮度和色度分离得到第一灰度(luma)图和色度(chroma)图，基于第一图像信号得到第一灰度图，第一灰度图的分辨率高于第二灰度图和色度图的分辨率。将第一灰度(luma)图和第二灰度图信号进行灰度融合，得到第三灰度图，该第三灰度图的高分辨率与上述第一灰度图的分辨率相同。再将第三灰度图和色度(chroma)图进行色彩融合，即可得到目标图像，该目标图像的分辨率也与上述第一灰度图的分辨率相同。
摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，手机200可以包括1个或N个摄像头293，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当手机200在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。手机200可以支持一种或多种视频编解码器。这样，手机200可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口220可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器210通过运行存储在内部存储器221的指令，和/或存储在设置于处理器中的存储器的指令，执行手机200的各种功能应用以及数据处理。
手机200可以通过音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。
扬声器270A，也称“喇叭”，用于将音频电信号转换为声音信号。手机200可以通过扬声器270A收听音乐，或收听免提通话。
受话器270B，也称“听筒”，用于将音频电信号转换成声音信号。当手机200接听电话或语音信息时，可以通过将受话器270B靠近人耳接听语音。
麦克风270C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风270C发声，将声音信号输入到麦克风270C。手机200可以设置至少一个麦克风270C。在另一些实施例中，手机200可以设置两个麦克风270C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，手机200还可以设置三个，四个或更多麦克风270C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口270D用于连接有线耳机。耳机接口270D可以是USB接口230，也可以是3.5mm的开放移动手机平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
压力传感器280A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器280A可以设置于显示屏294。压力传感器280A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。。
陀螺仪传感器280B可以用于确定手机200的运动姿态。
气压传感器280C用于测量气压。
磁传感器280D包括霍尔传感器。
加速度传感器280E可检测手机200在各个方向上(一般为三轴)加速度的大小。
距离传感器280F，用于测量距离。
接近光传感器280G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。
环境光传感器280L用于感知环境光亮度。
指纹传感器280H用于采集指纹。
温度传感器280J用于检测温度。
触摸传感器280K，也称“触控器件”。触摸传感器280K可以设置于显示屏294，由触摸传感器280K与显示屏294组成触摸屏，也称“触控屏”。触摸传感器280K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏294提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器280K也可以设置于手机200的表面，与显示屏294所处的位置不同。
骨传导传感器280M可以获取振动信号。
图像传感器(sensor)280N利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号，其中感光面划分成很多小单元，每个小单元对应一个像素点。例如，拜耳(Bayer)传感器，将RGB滤色器排列在感光面之上，形成马赛克彩色滤色阵列(color filter array)，这种彩色滤色阵列中有50％是绿色，用于感绿光，25％是红色，用于感红光，25％是蓝色，用于感蓝光。
按键290包括开机键，音量键等。按键290可以是机械按键。也可以是触摸式按键。手机200可以接收按键输入，产生与手机200的用户设置以及功能控制有关的键信号输入。
马达291可以产生振动提示。马达291可以用于来电振动提示，也可以用于触摸振动反馈。
指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295，或从SIM卡接口295拔出，实现和手机200的接触和分离。手机200可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡，Micro SIM卡，SIM卡等。手机200通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，手机200采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在手机200中，不能和手机200分离。
可以理解的是，本申请实施例示意的结构并不构成对设备的具体限定。在本申请另一些实施例中，设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
图3为本申请成像方法实施例的过程300的流程图。过程300可由图1所示的成像装置执行，具体的，可以由包含该成像装置的手机、平板电脑、摄像机或照相机等来执行。过程300描述为一系列的步骤或操作，应当理解的是，过程300可以以各种顺序执行和/或同时发生，不限于图3所示的执行顺序。过程300可以包括：
步骤301、获取被拍摄对象的反射光信号。
成像装置可以通过其中的光捕获单元(例如镜头)捕获被拍摄对象的反射光信号，该反射光信号与前述光线一致，即自然光反射后仍然是自然光，红外光反射后也仍然是红外光，光线的反射不会改变其中的光信号的波长。因此本申请的反射光信号可以包括太阳发出的自然光(亦称为可见光)、日光灯发出的可见光、红外补光灯发出的红外光等。
步骤302、通过分光单元将反射光信号分离成第一光信号和第二光信号。
分光单元可以采用分光棱镜，本申请中分光棱镜用于将反射光信号分离成第一光路和第二光路，其中，第一光路可以被分配到10％～40％的可见光谱能量和大于80％的红外光谱能量，第二光路可以被分配到60％～90％的可见光谱能量和小于20％的红外光谱能量。
第一光路上的光信号(第一光信号)输入第一图像传感器，第二光路上的光信号(第二光信号)输入第二图像传感器，第一图像传感器的分辨率高于第二图像传感器的分辨率。第一图像传感器经过光电转换将第一光信号转换成第一图像信号(例如后缀名为.raw图像)，第二图像传感器经过光电转换将第二光信号转换成第二图像信号(例如后缀名为.raw图像)。由于随着图像传感器的分辨率的提升，图像传感器中的感光面上单位像素面积会减小，进而减少了感光的光子数量，导致信噪比下降。尤其在低照度场景(上述第一照度场景)下，由于彩色光路上的进光量不足，分辨率的提升会严重影响色彩效果。上述方法中通过大小分辨率两个图像传感器，形成大小分辨率的图像传感器组合，小分辨率的图像传感器用于彩色路成像，只接收可见光信号；大分辨率的图像传感器同时接收可见光信号和红外光信号，白天可以直接实现大分辨率的彩色成像，晚上用大分辨率的红外图像(灰度图)和小分辨率彩色图像(色度图)融合。从而实现白天晚上都支持大分辨率成像。
可选的，在第一照度场景下，开启红外补光灯照射被拍摄对象，并且关闭红外滤光片，以使第一光信号包括可见光信号的第一分量信号和由红外补光灯反射得到的红外光信号；第二光信号包括可见光信号的第二分量信号。
在第一照度场景下，成像装置中的补光单元工作，发出红外光信号，因此反射光信号包括可见光信号和来自红外补光灯的第一红外光信号。成像装置中的分光单元利用光学原理，对反射光信号进行光谱和能量分离得到第一光信号和第二光信号，其中第一光信号包括可见光信号的第一分量信号(例如10％的可见光信号)和由红外补光灯反射得到的红外光信号，第二光信号包括可见光信号的第二分量信号(例如90％的可见光信号)。
步骤303、根据第一光信号获取第一图像信号。
成像装置中的第一图像获取单元利用图像传感器的工作原理将第一光信号转换为电信号，形成初具图像雏形的第一图像信号，该第一图像信号是经光电转换的电信号，构成例如后缀名为.raw原始图片。由于第一光信号包含红外光信号，因此该第一图像信号是黑白色的第一灰度图信号。
成像装置中的图像处理单元根据第一图像信号获取第一灰度图，此处涉及ISP的图像处理算法，即将.raw格式的原始图片转换为人眼可见的图像。第一灰度图为黑白色的。
步骤304、根据第二光信号获取第二图像信号。
成像装置中的第二图像获取单元利用图像传感器的工作原理将第二光信号转换为电信号，形成初具图像雏形的第二图像信号，该第二图像信号也是经光电转换的电信号，构成例如后缀名为.raw原始图片。由于第二光信号只包含可见光信号，因此该第二图像信号是彩色的可见光图像信号。
成像装置中的图像处理单元对第二图像信号进行亮度和色度分离得到第二灰度(luma)图和色度(chroma)图，此处也涉及ISP的图像处理算法，即将.raw格式的原始图片转换为人眼可见的图像，同时将RGB格式转换为YUV格式，并对YUV格式的图像进行分离。第二灰度图(luma)为黑白色的，色度(chroma)图为彩色的。
由于成像装置中的第一图像获取单元中的图像传感器的分辨率高于第二图像获取单元中的图像传感器的分辨率，亦即第一图像获取单元中的图像传感器的感光面包含的像素点比第二图像获取单元中的图像传感器的感光面包含的像素点多第一图像信号的分辨率高于第二图像信号的分辨率，因此第一图像获取单元得到的第一图像信号的分辨率高于第二图像获取单元得到的第二图像信号的分辨率。相应的，步骤303得到的第一灰度图的分辨率高于步骤304得到的第二灰度(luma)图和色度(chroma)图的分辨率。
可选的，在第一照度场景下，根据第一图像信号和第二图像信号获取第一目标图像。
可选的，在第二照度场景下，根据第一图像信号获取第二目标图像。
其中，第一图像信号的分辨率高于第二图像信号的分辨率；第二照度场景的光照强度大于第一照度场景的光照强度。
成像装置中的图像处理单元将第一灰度(luma)图和第二灰度图进行灰度融合，可以得到第三灰度图，该第三灰度图的高分辨率与上述第一灰度图的分辨率相同。再将第三灰度图和色度(chroma)图进行色彩融合，即可得到目标图像，该目标图像的分辨率也与上述第一灰度图的分辨率相同。
由于随着图像传感器的分辨率的提升，图像传感器中的感光面上单位像素面积会减小，进而减少了感光的光子数量，导致信噪比下降。尤其在低照度场景(上述第一照度场景)下，由于彩色光路上的进光量不足，分辨率的提升会严重影响色彩效果。上述方法中通过大小分辨率两个图像传感器，形成大小分辨率的图像传感器组合，小分辨率的图像传感器用于彩色路成像，只接收可见光信号；大分辨率的图像传感器同时接收可见光信号和红外光信号，白天可以直接实现大分辨率的彩色成像，晚上用大分辨率的红外图像(灰度图)和小分辨率彩色图像(色度图)融合。从而实现白天晚上都支持大分辨率成像。
本申请通过分光单元对反射光信号进行分离，然后通过高分辨率和低分辨率两个图像传感器分别对分离得到的光信号进行光电转换得到对应的图像信号，进而将其转换成对应的图像，借助两步融合处理(灰度融合和色彩融合)得到最终的目标图像，其中灰度融合时，第一灰度图中也包含可见光信号，可以实现同谱配准，提高图像的融合效率，而灰度融合和色彩融合均是高分辨率和低分辨率的两个图像之间的融合，既可以保留低分辨率图像的高信噪比，又可以获取高分辨率图像，从而可以得到色彩更鲜艳、更高清的图像。
可选的，在第二照度下，关闭红外补光灯，并且开启红外滤光片，以使第一光信号包括可见光信号的第一分量信号但不包括红外光信号；第二光信号包括可见光信号的第二分量信号。
在第二照度场景下，成像装置中的补光单元不工作，滤光单元工作，因此反射光信号包括可见光信号和来自自然界的第二红外光信号。成像装置中的分光单元利用光学原理，对反射光信号进行分离得到第一光信号和第二光信号，其中第一光信号包括可见光信号的第一分量信号(例如10％的可见光信号)和来自自然界的红外光信号，第二光信号包括可见光信号的第二分量信号(例如90％的可见光信号)。
成像装置中的滤光单元将第一光信号中的第二红外光信号过滤掉，因此到达第一图像获取单元的第一光信号只包括可见光信号的第一分量信号。
成像装置中的第一图像获取单元利用图像传感器的工作原理将第一光信号转换为电信号，形成初具图像雏形的第一图像信号，该第一图像信号是经光电转换的电信号，构成例如后缀名为.raw原始图片。由于第一光信号包含可见光信号，因此该第一图像信号是彩色的可见光图像信号。
成像装置中的第二图像获取单元利用图像传感器的工作原理将第二光信号转换为电信号，形成初具图像雏形的第二图像信号，该第二图像信号也是经光电转换的电信号，构成例如后缀名为.raw原始图片。由于第二光信号只包含可见光信号，因此该第二图像信号是彩色的可见光图像信号。
同理，第一图像信号的分辨率高于第二图像信号的分辨率。成像装置中的图像处理单元根据第一图像信号得到目标图像，该目标图像的分辨率与第一图像信号的分辨率相同，高于第二图像信号的分辨率。
为了减少运算量，图像处理单元可以只用第二图像信号进行光照强度的检测，无需采用该第二图像信号进行图像融合。该第二照度场景下，可以直接获取到高分辨率图像，提高图像的成像效果。
在一种可能的实现方式中，还包括：根据第二光信号判断当前光照场景；当第二光信号对应的光照强度小于第一阈值时，确定当前光照场景为第一照度场景；当光照强度大于或等于第一阈值时，确定当前光照场景为第二照度场景；或者，当第二光信号对应的信号增益大于第二阈值时，确定当前光照场景为第一照度场景；或者，当信号增益小于或等于第二阈值时，确定当前光照场景为第二照度场景。
上述第一阈值和第二阈值可以预先根据历史数据或经验进行设置。光照强度例如可以通过成像装置上的光传感器进行检测。信号增益例如可以通过第二图像获取单元40中的图像传感器进行检测。
下面采用一个具体的实施例，对图3所示方法实施例的技术方案进行详细说明。
以下是该实施例中的成像装置的配置：
1、光捕获单元使用F1.4恒定光圈镜头，该镜头在400nm～940nm波长范围内共焦。
2、补光单元使用一组850nm波段发光二极管(light emitting diode，LED)红外补光灯，总共6颗。补光单元内置在成像装置上，成像装置通过I2C总线控制红外补光灯的开关和亮度。
3、分光单元使用一块光学棱镜，该棱镜由两块等腰直角三角形玻璃组成，基于镀膜技术和棱镜参数的设计，能将接收的反射光信号中的所有红外光信号和10％的可见光信号透射到A方向，同时将反射光信号中的90％的可见光信号折射到B方向。A方向和B方向呈90度夹角。
4、滤光单元使用IR-CUT双滤镜，该IR-CUT双滤镜安装在光学棱镜之后的A方向上。当IR-CUT双滤镜处于工作状态时，只让400nm～750nm波长的光信号透过。当IR-CUT双滤镜处于非工作状态时，可以让所有光信号透过。
5、第一图像获取单元使用1/1.2靶面、4K Bayer传感器(以下简称4K传感器)，该传感器的分辨率是3840×2160。
6、第二图像获取单元使用1/1.2靶面、2K Bayer传感器(以下简称2K传感器)，该传感器的分辨率是1920×1080。
7、图像处理单元使用ARM+DSP架构的SOC处理器。
图4为本申请成像方法实施例的示例性的框架图，如图4所示，本实施例的成像方法包括白天模式和夜晚模式，其中夜晚模式对应第一照度模式，白天模式对应第二照度场景。
将照相机按预设的角度部署在立杆上，照相机的初始模式为白天模式，2K传感器的曝光时间设置为10ms。当SOC处理器检测到来自2K传感器的第二图像信号的增益大于或等于30db时，照相机切换为夜晚模式；当SOC处理器检测到来自2K传感器的第二图像信号的增益小于30db时，继续运行在白天模式下。
白天模式下：
(1)关闭照相机中的LED红外补光灯。启动IR-CUT双滤镜工作，过滤A方向的第二红外光信号。
(2)4K传感器捕获到10％的可见光信号后转成第一图像信号，传输给SOC处理器。同时，2K传感器捕获到90％的可见光信号后转成第二图像信号，也传输给SOC处理器。
(3)SOC处理器开通1个ISP管道(pipe)，通过该ISP pipe对第一图像信号进行图像处理，最后输出一路高分辨率的RGB图像，该RGB图像是彩色的。
(4)SOC处理器还根据第二图像信号检测信号增益，以确定是否需要做模式转换。
夜晚模式下：
(1)打开照相机中的LED红外补光灯，该LED红外补光灯向拍摄方向发出850nm波长的红外光。设置IR-CUT双滤镜不工作，A方向的第一红外光信号可以透过。
(2)4K传感器捕获到10％的可见光信号和第一红外光信号后转成第一图像信号，传输给SOC处理器。同时，2K传感器捕获到90％的可见光信号后转成第二图像信号，也传输给SOC处理器。
(3)SOC处理器开通2个ISP pipe，通过一个ISP pipe对第一图像信号进行图像处理，将4K RGB图像信号转化成高分辨率的第一灰度图。同时通过另一个ISP pipe对第二图像信号进行图像处理，将2K RGB信号转化成低分辨率的RGB图像。
(4)SOC处理器将低分辨率的RGB图像转成YUV格式，得到低分辨率的亮度(luma)图像(即Y通道)和低分辨率的色度(Choma)图像(即UV通道)。
(5)SOC处理器将低分辨率的亮度(luma)图像和高分辨率的第一灰度图做灰度融合，得到高分辨率的亮度(luma)图像。
(6)SOC处理器将高分辨率的亮度(luma)图像和低分辨率的色度(Choma)图像做色彩融合，得到高分辨率的RGB图像输出。
(7)SOC处理器还根据第二图像信号检测信号增益，以确定是否需要做模式转换。
图5为本申请成像装置实施例的结构示意图，如图5所示，该装置可以应用于上述实施例中的终端设备。本实施例的成像装置可以包括：光捕获模块1501、分光模块1502、图像获取模块1503和图像处理模块1504。其中，
光捕获模块1501，用于获取被拍摄对象的反射光信号；分光模块1502，用于通过分光单元将所述反射光信号分离成第一光信号和第二光信号，所述分光单元用于分光谱和分能量；图像获取模块1503，用于根据所述第一光信号获取第一图像信号；根据所述第二光信号获取第二图像信号；其中，所述第一图像信号的分辨率高于所述第二图像信号的分辨率。
在一种可能的实现方式中，图像处理模块1504，用于在第一照度场景下，根据所述第一图像信号和所述第二图像信号获取第一目标图像；或者，在第二照度场景下，根据所述第一图像信号获取第二目标图像；其中，所述第二照度场景的光照强度大于所述第一照度场景的光照强度。
在一种可能的实现方式中，所述分光单元用于将所述反射光信号中的可见光信号和红外光信号分离开，以达到分光谱的目的；所述分光单元还用于将所述可见光信号分成占10％～40％的可见光谱能量的第一分量信号和占60％～90％的可见光谱能量的第二分量信号。
在一种可能的实现方式中，在所述第一照度下，所述图像处理模块1504，还用于开启红外补光灯照射所述被拍摄对象，并且关闭红外滤光片，以使所述第一光信号包括可见光信号的第一分量信号和由所述红外补光灯反射得到的红外光信号；所述第二光信号包括所述可见光信号的第二分量信号。
在一种可能的实现方式中，在所述第二照度下，所述图像处理模块1504，还用于关闭红外补光灯，并且开启红外滤光片，以使所述第一光信号包括可见光信号的第一分量信号但不包括红外光信号；所述第二光信号包括所述可见光信号的第二分量信号。
在一种可能的实现方式中，所述图像获取模块1503，具体用于将所述第一光信号输入第一图像传感器获取所述第一图像信号；将所述第二光信号输入第二图像传感器获取所述第二图像信号；其中，所述第一图像传感器的分辨率高于所述第二图像传感器的分辨率。
在一种可能的实现方式中，所述图像处理模块1504，具体用于根据所述第一图像信号获取第一灰度图；根据所述第二图像信号获取第二灰度图和色度图；将所述第一灰度图和所述第二灰度图进行灰度融合得到第三灰度图像；将所述第三灰度图和所述色度图进行色彩融合得到所述第一目标图像；其中，所述第一灰度图的分辨率高于所述第二灰度图的分辨率；所述第一灰度图的分辨率高于所述色度图的分辨率。
在一种可能的实现方式中，所述图像处理模块1504，还用于根据所述第二光信号判断当前光照场景；当所述第二光信号对应的光照强度小于第一阈值时，确定所述当前光照场景为所述第一照度场景；当所述光照强度大于或等于所述第一阈值时，确定所述当前光照场景为所述第二照度场景；或者，当所述第二光信号对应的信号增益大于第二阈值时，确定所述当前光照场景为所述第一照度场景；或者，当所述信号增益小于或等于所述第二阈值时，确定所述当前光照场景为所述第二照度场景。
本实施例的装置，可以用于执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。处理器可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、特定应用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
上述各实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (16)
1.一种成像方法，其特征在于，包括：
获取被拍摄对象的反射光信号；
通过分光单元将所述反射光信号分离成第一光信号和第二光信号，所述分光单元用于分光谱和分能量；
根据所述第一光信号获取第一图像信号；
根据所述第二光信号获取第二图像信号；
在第一照度场景下，根据所述第一图像信号和所述第二图像信号获取第一目标图像；或者，在第二照度场景下，根据所述第一图像信号获取第二目标图像；
其中，所述第一图像信号的分辨率高于所述第二图像信号的分辨率；
所述第二照度场景的光照强度大于所述第一照度场景的光照强度。
2.根据权利要求1所述的方法，其特征在于，
所述分光单元用于将所述反射光信号中的可见光信号和红外光信号分离开，以达到分光谱的目的；所述分光单元还用于将所述可见光信号分成占10％～40％的可见光谱能量的第一分量信号和占60％～90％的可见光谱能量的第二分量信号。
3.根据权利要求2所述的方法，其特征在于，在第一照度下，所述获取被拍摄对象的反射光信号之前，还包括：
开启红外补光灯照射所述被拍摄对象，并且关闭红外滤光片，以使所述第一光信号包括所述第一分量信号和由所述红外补光灯反射得到的红外光信号；所述第二光信号包括所述第二分量信号。
4.根据权利要求2所述的方法，其特征在于，在第二照度下，所述获取被拍摄对象的反射光信号之前，还包括：
关闭红外补光灯，并且开启红外滤光片，以使所述第一光信号包括所述第一分量信号但不包括红外光信号；所述第二光信号包括所述第二分量信号。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述第一光信号获取第一图像信号，包括：
将所述第一光信号输入第一图像传感器获取所述第一图像信号；
所述根据所述第二光信号获取第二图像信号，包括：
将所述第二光信号输入第二图像传感器获取所述第二图像信号；
其中，所述第一图像传感器的分辨率高于所述第二图像传感器的分辨率。
6.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述第一图像信号和所述第二图像信号获取第一目标图像，包括：
根据所述第一图像信号获取第一灰度图；
根据所述第二图像信号获取第二灰度图和色度图；
将所述第一灰度图和所述第二灰度图进行灰度融合得到第三灰度图像；
将所述第三灰度图和所述色度图进行色彩融合得到所述第一目标图像；
其中，所述第一灰度图的分辨率高于所述第二灰度图的分辨率；所述第一灰度图的分辨率高于所述色度图的分辨率。
7.根据权利要求1-4中任一项所述的方法，其特征在于，还包括：
根据所述第二光信号判断当前光照场景；
当所述第二光信号对应的光照强度小于第一阈值时，确定所述当前光照场景为所述第一照度场景；当所述光照强度大于或等于所述第一阈值时，确定所述当前光照场景为所述第二照度场景；或者，
当所述第二光信号对应的信号增益大于第二阈值时，确定所述当前光照场景为所述第一照度场景；或者，当所述信号增益小于或等于所述第二阈值时，确定所述当前光照场景为所述第二照度场景。
8.一种成像装置，其特征在于，包括：
光捕获模块，用于获取被拍摄对象的反射光信号；
分光模块，用于通过分光单元将所述反射光信号分离成第一光信号和第二光信号，所述分光单元用于分光谱和分能量；
图像获取模块，用于根据所述第一光信号获取第一图像信号；根据所述第二光信号获取第二图像信号；
图像处理模块，用于在第一照度场景下，根据所述第一图像信号和所述第二图像信号获取第一目标图像；或者，在第二照度场景下，根据所述第一图像信号获取第二目标图像；其中，所述第一图像信号的分辨率高于所述第二图像信号的分辨率；
其中，所述第二照度场景的光照强度大于所述第一照度场景的光照强度。
9.根据权利要求8所述的装置，其特征在于，所述分光单元用于将所述反射光信号中的可见光信号和红外光信号分离开，以达到分光谱的目的；所述分光单元还用于将所述可见光信号分成占10％～40％的可见光谱能量的第一分量信号和占60％～90％的可见光谱能量的第二分量信号。
10.根据权利要求9所述的装置，其特征在于，在第一照度下，所述图像处理模块，还用于开启红外补光灯照射所述被拍摄对象，并且关闭红外滤光片，以使所述第一光信号包括所述第一分量信号和由所述红外补光灯反射得到的红外光信号；所述第二光信号包括所述第二分量信号。
11.根据权利要求9所述的装置，其特征在于，在第二照度下，所述图像处理模块，还用于关闭红外补光灯，并且开启红外滤光片，以使所述第一光信号包括所述第一分量信号但不包括红外光信号；所述第二光信号包括所述第二分量信号。
12.根据权利要求8-11中任一项所述的装置，其特征在于，所述图像获取模块，具体用于将所述第一光信号输入第一图像传感器获取所述第一图像信号；将所述第二光信号输入第二图像传感器获取所述第二图像信号；其中，所述第一图像传感器的分辨率高于所述第二图像传感器的分辨率。
13.根据权利要求8-11中任一项所述的装置，其特征在于，所述图像处理模块，具体用于根据所述第一图像信号获取第一灰度图；根据所述第二图像信号获取第二灰度图和色度图；将所述第一灰度图和所述第二灰度图进行灰度融合得到第三灰度图像；将所述第三灰度图和所述色度图进行色彩融合得到所述第一目标图像；其中，所述第一灰度图的分辨率高于所述第二灰度图的分辨率；所述第一灰度图的分辨率高于所述色度图的分辨率。
14.根据权利要求8-11中任一项所述的装置，其特征在于，所述图像处理模块，还用于根据所述第二光信号判断当前光照场景；当所述第二光信号对应的光照强度小于第一阈值时，确定所述当前光照场景为所述第一照度场景；当所述光照强度大于或等于所述第一阈值时，确定所述当前光照场景为所述第二照度场景；或者，当所述第二光信号对应的信号增益大于第二阈值时，确定所述当前光照场景为所述第一照度场景；或者，当所述信号增益小于或等于所述第二阈值时，确定所述当前光照场景为所述第二照度场景。
15.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011058209.5A CN114338962B (zh) | 2020-09-29 | 2020-09-29 | 成像方法和装置 |
| PCT/CN2021/118697 WO2022068598A1 (zh) | 2020-09-29 | 2021-09-16 | 成像方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011058209.5A CN114338962B (zh) | 2020-09-29 | 2020-09-29 | 成像方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114338962A CN114338962A (zh) | 2022-04-12 |
| CN114338962B true CN114338962B (zh) | 2023-04-18 |
Family
ID=80949542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011058209.5A Active CN114338962B (zh) | 2020-09-29 | 2020-09-29 | 成像方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114338962B (zh) |
| WO (1) | WO2022068598A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117499789B (zh) * | 2023-12-25 | 2024-05-17 | 荣耀终端有限公司 | 一种拍摄方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563971A (zh) * | 2017-08-12 | 2018-01-09 | 四川精视科技有限公司 | 一种真彩高清夜视成像方法 |
| CN107580163A (zh) * | 2017-08-12 | 2018-01-12 | 四川精视科技有限公司 | 一种双镜头黑光摄像机 |
| CN109040534A (zh) * | 2017-06-12 | 2018-12-18 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法及图像采集设备 |
| CN110490044A (zh) * | 2019-06-14 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 人脸建模设备和人脸建模方法 |
| CN111027489A (zh) * | 2019-12-12 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、终端及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3592182B2 (ja) * | 2000-02-29 | 2004-11-24 | 株式会社睦コーポレーション | 撮像装置 |
| JP4757221B2 (ja) * | 2007-03-30 | 2011-08-24 | 富士フイルム株式会社 | 撮像装置及び方法 |
| WO2015097776A1 (ja) * | 2013-12-25 | 2015-07-02 | 日立マクセル株式会社 | 撮像素子および撮像装置 |
| CN104822033B (zh) * | 2015-05-05 | 2017-09-01 | 太原理工大学 | 一种红外与可见光图像融合的视觉传感器及其使用方法 |
| CN108387944A (zh) * | 2018-02-01 | 2018-08-10 | 北京理工大学 | 小型化可见光和长波红外双波段视频融合的生命探测仪 |
| CN110891138A (zh) * | 2018-09-10 | 2020-03-17 | 杭州萤石软件有限公司 | 黑光全彩实现方法和黑光全彩摄像机 |
-
2020
- 2020-09-29 CN CN202011058209.5A patent/CN114338962B/zh active Active
-
2021
- 2021-09-16 WO PCT/CN2021/118697 patent/WO2022068598A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109040534A (zh) * | 2017-06-12 | 2018-12-18 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法及图像采集设备 |
| CN107563971A (zh) * | 2017-08-12 | 2018-01-09 | 四川精视科技有限公司 | 一种真彩高清夜视成像方法 |
| CN107580163A (zh) * | 2017-08-12 | 2018-01-12 | 四川精视科技有限公司 | 一种双镜头黑光摄像机 |
| CN110490044A (zh) * | 2019-06-14 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 人脸建模设备和人脸建模方法 |
| CN111027489A (zh) * | 2019-12-12 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114338962A (zh) | 2022-04-12 |
| WO2022068598A1 (zh) | 2022-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179282B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN113810600B (zh) | 终端的图像处理方法、装置和终端设备 | |
| CN113810601B (zh) | 终端的图像处理方法、装置和终端设备 | |
| CN111770282B (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
| CN114489533A (zh) | 投屏方法、装置、电子设备及计算机可读存储介质 | |
| US20220245778A1 (en) | Image bloom processing method and apparatus, and storage medium | |
| CN113436576B (zh) | 应用于二维码扫描的oled显示屏调光方法及装置 | |
| CN111552451A (zh) | 显示控制方法及装置、计算机可读介质及终端设备 | |
| WO2022156555A1 (zh) | 屏幕亮度的调整方法、装置和终端设备 | |
| CN113542613A (zh) | 一种用于拍照的装置及方法 | |
| CN114466134A (zh) | 生成hdr图像的方法及电子设备 | |
| CN114338962B (zh) | 成像方法和装置 | |
| CN112188094B (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
| CN113852755A (zh) | 拍摄方法、设备、计算机可读存储介质及程序产品 | |
| CN115412678B (zh) | 曝光处理方法、装置及电子设备 | |
| CN115631250B (zh) | 图像处理方法与电子设备 | |
| CN113674258B (zh) | 图像处理方法及相关设备 | |
| CN115706869A (zh) | 终端的图像处理方法、装置和终端设备 | |
| CN111885768B (zh) | 调节光源的方法、电子设备和系统 | |
| CN111626931B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN117119314B (zh) | 一种图像处理方法及相关电子设备 | |
| CN115705663B (zh) | 图像处理方法与电子设备 | |
| CN111294905B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN115696067B (zh) | 终端的图像处理方法、终端设备和计算机可读存储介质 | |
| CN116847204A (zh) | 一种目标识别方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |