CN113592751B - 图像处理方法、装置和电子设备 - Google Patents
图像处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN113592751B CN113592751B CN202110707980.9A CN202110707980A CN113592751B CN 113592751 B CN113592751 B CN 113592751B CN 202110707980 A CN202110707980 A CN 202110707980A CN 113592751 B CN113592751 B CN 113592751B
- Authority
- CN
- China
- Prior art keywords
- angle
- image
- view
- small
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 16
- 230000002093 peripheral effect Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 229910044991 metal oxide Inorganic materials 0.000 description 4
- 150000004706 metal oxides Chemical class 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002138 osteoinductive effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供了一种图像处理方法、装置和电子设备,涉及图像处理领域,该图像处理方法包括:获取大视场角图像;获取多帧小视场角图像,多帧小视场角图像是对大视场角图像对应的视场角范围内的场景进行拍摄得到的,不同小视场角图像对应大视场角图像所对应的视场角范围内的不同场景;对多帧小视场角图像中至少一帧小视场角图像的纹理信息进行提取,并将提取的述纹理信息添加至目标区域中,得到目标图像。本申请提供的方法,解决了双摄像头拍摄得到的图像中心部分和四周部分的清晰度不一致的问题,提高了图像的清晰度和质量。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种图像处理方法、装置和电子设备。
背景技术
随着电子设备的广泛使用,使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。以电子设备为手机为例,现有技术中,为了提高拍照质量,业界提出了在手机上设置双摄像头,利用两个摄像头获取的图像信息之间的差异,进行图像信息的互补,由此来提升拍摄的图像质量。
但是实际上,目前配置有双摄像头的手机在拍摄图像时,只是将两个摄像头获取的图像进行简单的融合,而这种方式无法在各种场景下均拍摄出质量较高的图像。
示例性的,手机配置了两个摄像头,一个是主摄像头,另一个是广角摄像头或者是长焦摄像头。其中,广角摄像头的视场角相对于主摄像头的视场角较大,适合近景拍摄,长焦摄像头的视场角相对于主摄像头的视场角较小,适合远景拍摄。此时,若将主摄像头拍摄的图像和广角摄像头或者和长焦摄像头拍摄的图像进行简单融合,由于两个摄像头的视场角不匹配,将会导致融合得到的图像立体感较差,质量也较差。
例如,采用这种双摄像头的手机得到的两种图像中有视场角重合的部分,也有视场角不重合的部分。如果直接将两张图像进行融合,那么最终拍摄得到的图像中视场角重合的部分清晰度高,不重合的部分清晰度低,使得拍摄得到的图像会出现中心部分和四周部分的清晰度不一致的问题,即图像上会出现融合边界,影响成像效果。
因此,亟待一种新的图像处理方法,来有效提高获取的图像的清晰度。
发明内容
本申请提供一种图像处理方法、装置和电子设备,解决了双摄像头拍摄得到的图像中心部分和四周部分的清晰度不一致的问题,提高了图像的清晰度和质量。
为达到上述目的,本申请采用如下技术方案:
第一方面,提供一种图像处理方法,该方法包括:获取大视场角图像;获取多帧小视场角图像,多帧小视场角图像是对大视场角图像对应的视场角范围内的场景进行拍摄得到的,不同小视场角图像对应大视场角图像所对应视场角范围内的不同场景;对多帧小视场角图像中至少一帧小视场角图像的纹理信息进行提取,并将提取的纹理信息添加至目标区域中,得到目标图像,目标区域为:多帧小视场角图像在大视场角图像中各自对应的区域。
本申请实施例提供一种图像处理方法,通过获取大视场角图像,以及获取对大视场角图像对应的视场角范围内的场景进行拍摄得到的多帧小视场角图像,然后,通过对多帧小视场角图像的纹理信息进行提取,并将提取的纹理信息添加至小视场角图像在大视场角图像中各自对应的目标区域中,来得到目标图像。由于,小视场角图像相对于大视场角图像清晰度较高,细节更丰富,因此,将多帧小视场角图像提取的纹理信息添加至大视场角图像中对应的目标区域中时,可以增强目标区域的细节和清晰度,进而可以提高大视场角图像的清晰度和质量。
在第一方面一种可能的实现方式中,多帧小视场角图像沿预设排列位置排布。在该实现方式中,由于多帧小视场角图像的排列位置不同,所以,每帧小视场角图像在大视场角图像中对应的目标区域不同,由此,在将从小视场角图像提取的纹理信息添加至目标区域时,可以对大视场角图像中的更多地方添加上细节,提高目标图像的清晰度和质量。
在第一方面一种可能的实现方式中,当多次获取多帧小视场角图像时,不同次对应的预设排列位置不同。在该实现方式中,由于每次得到的多帧小视场角图像对应的预设排列位置不同,所以,后续对目标区域添加纹理信息时,相当于在大视场角图像中,对沿不同预设排列位置排布的多个目标区域进行纹理信息的添加。
在第一方面一种可能的实现方式中,预设排列位置为:圆形、多边形、绕旋转中心旋转成的螺旋形中的任意一种。
在第一方面一种可能的实现方式中,该方法还包括:确定多帧小视场角图像各自对应的目标区域;对多个目标区域进行去重处理;确定多帧小视场角图像各自对应的目标区域的面积之和,面积之和小于或等于大视场角图像的面积。由于进行了去重处理,所以在后续添加纹理信息时,实际目标区域应为:被提取纹理信息的小视场角图像,在大视场角图像中去重处理后所对应的区域。由此,添加纹理信息时的计算量将减少,提高了处理效率。
在第一方面一种可能的实现方式中,目标区域在大视场角图像中的面积占比大于或等于30%。在该实现方式中,当目标区域在大视场角图像中的面积占比较大时,去重处理后使得多个目标区域的面积之和等于大视场角图像的面积时,所需的目标区域的数量较少。由此,针对大视场角图像对应的视场角范围内的场景,可以获取相对数量较少的小视场角图像,并确定数量较少的目标区域,在后续添加纹理信息时,以较少的次数即可添加完大视场角图像中的全部区域中的纹理信息,可以对大视场角图像的整体细节进行提高,覆盖全面且计算量少。
第二方面,提供了一种图像处理装置,该装置包括用于执行以上第一方面或第一方面的任意可能的实现方式中各个步骤的单元。
第三方面,提供了一种图像处理装置,包括:接收接口和处理器;接收接口用于从电子设备处获取大视场角图像,以及获取多帧小视场角图像,多帧小视场角图像是对大视场角图像对应的视场角范围内的场景进行拍摄得到的,不同小视场角图像对应大视场角图像所对应视场角范围内的不同场景。处理器,用于调用存储器中存储的计算机程序,以执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。
第四方面,提供了一种电子设备,包括:摄像头模组、处理器和存储器;摄像头模组、处理器和存储器;摄像头模组,用于获取大视场角图像以及获取多帧小视场角图像,多帧小视场角图像是对大视场角图像对应的视场角范围内的场景进行拍摄得到的,不同小视场角图像对应大视场角图像所对应视场角范围内的不同场景;存储器,用于存储可在处理器上运行的计算机程序;处理器,用于执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。
在第四方面一种可能的实现方式中,摄像头模组包括主摄像头和可旋转摄像头;主摄像头,用于在处理器获取拍照指令后,获取大视场角图像;可旋转摄像头,用于在处理器获取拍照指令后,获取多帧小视场角图像。
第五方面,提供了一种芯片,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法。
第六方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,使处理器执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法。
第七方面,提供了一种计算机程序产品,计算机程序产品包括存储了计算机程序的计算机可读存储介质,计算机程序使得计算机执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法。
本申请提供的图像处理方法、装置和电子设备,通过获取大视场角图像,以及获取对大视场角图像对应的视场角范围内的场景进行拍摄得到的多帧小视场角图像,然后,通过对多帧小视场角图像的纹理信息进行提取,并将提取的纹理信息添加至小视场角图像在大视场角图像中各自对应的目标区域中,来得到目标图像。由于,小视场角图像相对于大视场角图像清晰度较高,细节更丰富,因此,将多帧小视场角图像提取的纹理信息添加至大视场角图像中对应的目标区域中时,可以增强目标区域的细节和清晰度,进而可以提高大视场角图像的清晰度和质量。
附图说明
图1为现有技术提供的一种对双摄像头拍摄的图像进行处理的示意图;
图2为本申请实施例提供的一种电子设备的结构示意图;
图3为本申请实施例提供的一种图像处理装置的硬件架构图;
图4为本申请实施例提供的一种图像处理方法的流程示意图;
图5为本申请实施例提供的一种预设排列位置的示意图;
图6为本申请实施例提供的另一种图像处理方法的流程示意图;
图7为本申请实施例提供的一种图像处理装置的结构示意图;
图8为申请实施例提供的一种芯片的结构示意图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
首先,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1、视场角(field of view,FOV),用于指示摄像头所能拍摄到的最大的角度范围。若待拍摄物体处于这个角度范围内,该待拍摄物体便会被摄像头捕捉到。若待拍摄物体处于这个角度范围之外,该待拍摄物体便不会被摄像头捕捉到。
通常,摄像头的视场角越大,则拍摄范围就越大,焦距就越短;而摄像头的视场角越小,则拍摄范围就越小,焦距就越长。因此,摄像头因视场角的不同可以被划分主摄像头、广角摄像头和长焦摄像头。其中,广角摄像头的视场角相对于主摄像头的视场角较大,焦距较小,适合近景拍摄;而长焦摄像头的视场角相对于主摄像头的视场角较小,焦距较长,适合远景拍摄。
2、光学稳像(optical image stabilization,OIS)技术,该技术原理为:在拍照曝光期间,通过运动传感器来检测电子设备的抖动数据,运动传感器将抖动数据传输给OIS控制器,然后,OIS控制器根据运动传感器检测到的抖动数据,控制推动OIS马达,移动镜头或者图像传感器,使得整个曝光器件,光路尽可能保持稳定不变,进而得到清晰曝光的图像。
以上是对本申请实施例所涉及名词的简单介绍,以下不再赘述。
随着电子设备的广泛使用,使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。以电子设备为手机为例,现有技术中,为了提高拍照质量,业界提出了在手机上设置双摄像头,利用两个摄像头获取的图像信息之间的差异,进行图像信息的互补,由此来提升拍摄的图像质量。
但是实际上,目前配置有双摄像头的手机在拍摄图像时,只是将两个摄像头获取的图像进行简单的融合,而这种方式无法在各种场景下均拍摄出质量较高的图像。
示例性的,手机配置了两个摄像头,一个是主摄像头,另一个是广角摄像头或者是长焦摄像头,或者,两个摄像头分别为广角摄像头和长焦摄像头。其中,广角摄像头的视场角相对于主摄像头的视场角较大,长焦摄像头的视场角相对于主摄像头的视场角较小。然后,将主摄像头拍摄的图像和广角摄像头拍摄的图像,或者;将主摄像头拍摄的图像和长焦摄像头拍摄的图像进行简单融合,或者;将广角摄像头拍摄的图像和长焦摄像头拍摄的图像进行简单融合。
图1示出了一种现有技术对双摄像头拍摄的图像进行处理的示意图。
如图1所示,在现有技术中,通常会根据视场角大小,将主摄像头拍摄的第一视场角图像填充在广角摄像头拍摄的第二视场角图像中,或者,将长焦摄像头拍摄的第一视场角图像填充在主摄像头或广角摄像头拍摄的第二视场角图像中。但是,在这种方式中,由于两个摄像头的视场角不匹配,将会导致融合得到的图像立体感较差,质量也较差。
例如,采用这种双摄像头的手机得到的两种图像中有视场角重合的部分,也有视场角不重合的部分。如果直接将两张图像进行融合,那么最终拍摄得到的图像中视场角重合的部分与不重合的部分可能对位对不上,部分内容产生断裂或畸形。此外,视场角重合的部分可能清晰度高,不重合的部分清晰度低,使得拍摄得到的图像会出现中心部分和四周部分的清晰度不一致的问题,即图像上会出现融合边界,影响成像效果。
有鉴于此,本申请实施例提供了一种图像处理方法,通过获取大视场角图像,同时,对大视场角图像对应视场角范围内的场景进行拍摄,得到多帧小视场角图像,然后,从小视场角图像提取纹理信息,并添加至大视场角图像中对应的目标区域中。由于小视场角图像细节更丰富,因此,添加了纹理信息的大视场角图像的细节可以被提高,由此,该方法可以解决双摄像头拍摄得到的图像中心部分和四周部分的清晰度不一致的问题,实现提高图像的清晰度和质量的目的。
本申请实施例提供的图像处理方法可以适用于各种电子设备,对应的,本申请实施例提供的图像处理装置可以为多种形态的电子设备。
在本申请的一些实施例中,该电子设备可以为单反相机、卡片机等各种摄像装置、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等,或者可以为其他能够进行图像处理的设备或装置,对于电子设备的具体类型,本申请实施例不作任何限制。
下文以电子设备为手机为例,图2示出了本申请实施例提供的一种电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
处理器110可以运行本申请实施例提供的图像处理方法的软件代码,拍摄得到清晰度较高的图像。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
摄像头193用于捕获图像。可以通过应用程序指令触发开启,实现拍照功能,如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头,通过滤光片,最终汇聚在图像传感器上。图像传感器主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、目标场景,也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像;滤光片主要是用于将光线中的多余光波(例如除可见光外的光波,如红外)滤去;图像传感器主要是用于对接收到的光信号进行光电转换,转换成电信号,并输入处理器130进行后续处理。其中,摄像头193可以位于电子设备100的前面,也可以位于电子设备100的背面,摄像头的具体个数以及排布方式可以根据需求设置,本申请不做任何限制。
示例性的,电子设备100包括前置摄像头和后置摄像头。例如,前置摄像头或者后置摄像头,均可以包括1个或多个摄像头。以电子设备100具有3个后置摄像头为例,这样,电子设备100启动启动3个后置摄像头进行拍摄时,可以使用本申请实施例提供的图像处理方法。或者,摄像头设置于电子设备100的外置配件上,该外置配件可旋转的连接于手机的边框,该外置配件与电子设备100的显示屏194之间所形成的角度为0-360度之间的任意角度。比如,当电子设备100自拍时,外置配件带动摄像头旋转到朝向用户的位置。当然,手机具有多个摄像头时,也可以只有部分摄像头设置在外置配件上,剩余的摄像头设置在电子设备100本体上,本申请实施例对此不进行任何限制。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
内部存储器121还可以存储本申请实施例提供的图像处理方法的软件代码,当处理器110运行所述软件代码时,执行图像处理方法的流程步骤,得到清晰度较高的图像。
内部存储器121还可以存储拍摄得到的图像。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐等文件保存在外部存储卡中。
当然,本申请实施例提供的图像处理方法的软件代码也可以存储在外部存储器中,处理器110可以通过外部存储器接口120运行所述软件代码,执行图像处理方法的流程步骤,得到清晰度较高的图像。电子设备100拍摄得到的图像也可以存储在外部存储器中。
应理解,用户可以指定将图像存储在内部存储器121还是外部存储器中。比如,电子设备100当前与外部存储器相连接时,若电子设备100拍摄得到1帧图像时,可以弹出提示信息,以提示用户将图像存储在外部存储器还是内部存储器;当然,还可以有其他指定方式,本申请实施例对此不进行任何限制;或者,电子设备100检测到内部存储器121的内存量小于预设量时,可以自动将图像存储在外部存储器中。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
本申请实施例提供的图像处理方法,还可以适用于各种图像处理装置。图3示出了本申请实施例提供的一种图像处理装置200的硬件架构图。如图3所示,该图像处理装置200例如可以为处理器芯片。示例性的,图3所示的硬件架构图可以是图2中的处理器110,本申请实施例提供的图像处理方法可以应用在该处理器芯片上。
如图3所示,该图像处理装置200包括:至少一个CPU,存储器、微控制器(microcontroller unit,MCU)、GPU、NPU、内存总线、接收接口和发送接口等。除此之外,该图像处理装置200还可以包括AP、解码器以及专用的图形处理器等。
该图像处理装置200的上述各个部分通过连接器相耦合,示例性的,连接器包括各类接口、传输线或总线等,这些接口通常是电性通信接口,但是,也可能是机械接口或其他形式的接口,本申请实施例对此不做任何限制。
可选地,CPU可以是一个单核(single-CPU)处理器或多核(multi-CPU)处理器。
可选地,CPU可以是多个处理器构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。该连接接口可以为处理器芯片的数据输入的接口,在一种可选地情况下,该接收接口和发送接口可以是高清晰度多媒体接口(high definition multimediainterface,HDMI)、V-By-One接口、嵌入式显示端口(embedded display port,eDP)、移动产业处理器接口(mobile industry processor interface,MIPI)display port(DP)等,该存储器可以参考上述对内部存储器121部分的描述。在一种可能实现的方式中,上述各部分集成在同一个芯片上。在另一个可能实现的方式中,CPU、GPU、解码器、接收接口以及发送接口集成在一个芯片上,该芯片内部的各部分通过总线访问外部的存储器。专用图形处理器可以为专用ISP。
可选地,NPU也可以作为独立的处理器芯片。该NPU用于实现各种神经网络或者深度学习的相关运算。本申请实施例提供的图像处理方法可以由GPU或NPU实现,也可以由专门的图形处理器来实现。
应理解,在本申请实施例中涉及的芯片是以集成电路工艺制造在同一个半导体衬底上的系统,也叫半导体芯片,其可以是利用集成电路工艺制作在衬底上形成的集成电路的集合,其外层通常被半导体封装材料封装。所述集成电路可以包括各类功能器件,每一类功能器件包括逻辑门电路、金属氧化物半导体(metal oxide semiconductor,MOS)晶体管、二极管等晶体管,也可以包括电容、电阻或电感等其他部件。每个功能器件可以独立工作或者在必要的驱动软件的作用下工作,可以实现通信、运算或存储等各类功能。
下面结合说明书附图,对本申请实施例所提供的图像处理方法进行详细介绍。
图4为本申请实施例所示的一种图像处理方法的流程示意图。如图4所示,该图像处理方法10包括:S10至S30。
S10、获取大视场角图像。
S20、获取多帧小视场角图像。多帧小视场角图像是对大视场角图像对应的视场角范围内的场景进行拍摄得到的。
不同小视场角图像对应大视场角图像所对应的视场角范围内的不同场景。也可以理解为,不同小视场角图像对应这一视场角范围内的不同视场角,或者说,不同区域。
该图像处理方法的执行主体可以是上述图2所示的设置有摄像头模组的电子设备100,还可以是上述图3所示的图像处理装置200。当执行主体是电子设备时,通过摄像头模组中的一个摄像头获取大视场角图像,另一个摄像头获取多帧小视场角图像。其中,获取多帧小视场角图像的摄像头例如为可旋转摄像头,该摄像头可通过OIS技术实现镜头偏移或镜头旋转。当执行主体是图像处理装置时,可以通过接收接口获取大视场角图像和多帧小视场角图像,而该大视场角图像和多帧小视场角图像为与图像处理装置连接的电子设备的摄像头模组所拍摄得到的。
上述大视场角图像和小视场角图像也可称为RAW图。其中,大视场角图像可以为拍摄得到的图像,也可以为拍摄得到的视频中的某一帧图像。
在获取大视场角图像和多帧小视场角图像时,大视场角图像可以包括1帧,也可以包括多帧。当大视场角图像包括多帧时,针对每帧大视场角图像,需要获取对应的多帧小视场角图像。此处,获取多帧小视场角图像时,所利用的拍摄过程可以理解为:针对待拍摄场景,确定大视场角范围,得到大视场角图像;并针对大视场角范围内的场景进行拍摄,得到多帧小视场图像。
应理解,由于不同小视场角图像对应大视场角范围内的不同的场景,由此可知,拍摄多帧小视场角图像的摄像头是移动的或者旋转的,从而才可能得到对应大视场角范围内不同场景的多帧小视场角图像。拍摄时的具体移动方式或旋转方式可以根据需要进行设定和更改,本申请实施例对此不进行任何限制。
应理解,大视场角图像对应的视场角大于小视场角图像对应的视场角。由于大视场角图像对应的视场角大于小视场角图像对应的视场角,所以,大视场角图像中的内容包含小视场角图像中的内容。
还应理解,视场角越大,拍摄得到的图像细节信息越少,越不清晰,因此,大视场角图像相对于小视场角图像捕捉的细节信息较少,清晰度较低,而小视场角图像细节丰富,清晰度高。
可选地,大视场角图像和小视场角图像的尺寸可以相同,也可以不相同,本申请实施例对此不进行任何限制。
可选地,多帧小视场角图像可以是连续获取的,获取的间隔时间可以相同也可以不同。当然,多帧小视场角图像也可以不是连续获取的,例如,获取的多帧小视场角图像只是连续拍摄的10帧小视场角图像中的第1帧、第3帧、第5帧和第7帧。具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
S30、对多帧小视场角图像中至少一帧小视场角图像的纹理信息进行提取,并将提取的纹理信息添加至目标区域中,得到目标图像。该目标区域为:多帧小视场角图像在大视场角图像中各自对应的区域,或者说,目标区域为被提取纹理信息的小视场角图像在的大视场角图像中对应的区域,也即,在大视场角图像中,小视场角图像与大视场角图像视场角重合的区域。
上述S30还可以表述为:针对多帧小视场角图像中的1帧或多帧小视场角图像,对该1帧或多帧小视场角图像的纹理信息进行提取,并将提取的纹理信息添加至大视场角图像中各自对应的目标区域中。
应理解,本申请中的纹理信息指的是物体表面呈现凹凸不平的沟纹,同时也包括在物体的光滑表面上的彩色图案,通常更多地称之为花纹。纹理信息能反应小视场角图像中物体的细节。
应理解,如果将多帧小视场角图像和大视场角图像直接来拼接,可能会造成颜色不一致等问题,因此,只需要提取小视场角图像的纹理信息,将小视场角图像的纹理信息在大视场角图像中进行添加,以增强大视场角图像的细节。
应理解,由于小视场角图像相对于大视场角图像的细节多,清晰度较高,所以,将小视场角图像的纹理信息提取后,添加至大视场角图像中对应的目标区域中时,可以提高对应目标区域的清晰度。
应理解,由于不同小视场角图像对应大视场角图像所对应的视场角范围内的不同场景,因此,每帧小视场角图像在大视场角图像中对应的目标区域不同。基于此,将多帧小视场角图像提取出的纹理信息添加至大视场角图像中各自对应的目标区域时,可以使得大视场角图像不同位置处均增加细节内容,提高大视场角图像部分或全部区域的清晰度和质量。
此处,大视场角图像除了纹理信息会改变,其他颜色、高动态范围(high dynamicrange,HDR)、亮度等信息都保持不变。
本申请实施例提供一种图像处理方法,通过获取大视场角图像,以及获取对大视场角图像对应的视场角范围内的场景进行拍摄得到的多帧小视场角图像,然后,通过对多帧小视场角图像的纹理信息进行提取,并将提取的纹理信息添加至小视场角图像在大视场角图像中各自对应的目标区域中,来得到目标图像。由于,小视场角图像相对于大视场角图像清晰度较高,细节更丰富,因此,将多帧小视场角图像提取的纹理信息添加至大视场角图像中对应的目标区域中时,可以增强目标区域的细节和清晰度,进而可以提高大视场角图像的清晰度和质量。
可选地,多帧小视场角图像沿预设排列位置排布。
不同帧小视场角图像的排列位置不同。相应的,多帧小视场角图像在大视场角图像中对应的多个目标区域也将按照预设排列位置排布,即,不同目标区域的排列位置不同。
应理解,当多帧小视场角图像沿预设排列位置排布时,说明拍摄多帧小视场角图像的摄像头是沿对应的预设路径进行偏移或旋转拍摄的,由此,才能得到沿预设排列位置排布的多帧小视场角图像。
还应理解,由于多帧小视场角图像的排列位置不同,所以,每帧小视场角图像在大视场角图像中对应的目标区域不同,由此,在将从小视场角图像提取的纹理信息添加至目标区域时,可以对大视场角图像中的更多地方添加上细节,提高后续得到的目标图像清晰度和质量。
可选地,预设排列位置为:圆形、多边形、绕旋转中心旋转成的螺旋形中的任意一种。
示例性的,预设排列位置为长方形、正方形等。当然,预设排列位置也可以为其他形状,此外,预设排列位置还可以为多种形状的任意组合。预设排列位置也可以根据需要进行设定和更改,本申请实施例对此不进行任何限制。
应理解,当多帧小视场角图像各自对应的目标区域在大视场角图像中沿预设排列位置排布时,说明拍摄多帧小视场角图像的摄像头是沿对应的预设路径进行偏移或旋转拍摄的,该预设路径与预设排列位置具有对应的关系。
示例性的,摄像头以大视场角图像的中心为旋转中心旋转了360度时,预设路径即为圆形,相应的,拍摄得到的多帧小视场角图像对应的多个目标区域在大视场角图像中将按照圆形的预设排列位置进行排布。然后,将多帧小视场角图像的纹理信息进行提取,并将提取的纹理信息添加至沿圆形排列位置排布的目标区域中,从而得到目标图像。
可选地,当多次获取多帧小视场角图像时,不同次对应的预设排列位置不同。
由于不同次对应的预设排列位置不同,相应的,不同次获取的多帧小视场角图像,在大视场角图像中对应的多个目标区域的预设排列位置也不同。即,不同次的多个目标区域的排列位置不同。
应理解,当多次获取多帧小视场角图像,不同次对应的预设排列位置不同时,说明拍摄多帧小视场角图像的摄像头每次拍摄所对应的预设路径也不同,由此,才能使得不同次的多帧小视场角图像对应的预设排列位置不同。
示例性的,图5示出了两种预设排列位置的示意图。如图5中的(a)所示,第一次获取的多帧小视场角图像各自对应的目标区域(如图5中所示的M),在大视场角图像中,沿着绕旋转中心旋转成的螺旋形的预设排列位置排布;如图5中的(b)所示,第二次获取的多帧小视场角图像各自对应的目标区域,在大视场角图像中,沿长方形的预设排列位置排布。
应理解,利用摄像头对大视场角图像对应的视场角范围内的场景进行多次拍摄,也即,针对同一大视场角图像对应的视场角范围内的场景,进行多次拍摄,得到多组多帧小视场角图像。每次拍摄时,摄像头偏移或旋转的预设路径不同,从而使得每次得到的多帧小视场角图像对应的预设排列位置不同,相应的,每次得到的多帧小视场角图像各自对应的目标区域,在大视场角图像中排布时的预设排列位置也不同。
由于每次得到的多帧小视场角图像对应的预设排列位置不同,所以,后续对目标区域添加纹理信息时,相当于在大视场角图像中,对沿不同预设排列位置排布的多个目标区域进行纹理信息的添加。
当沿不同预设排列位置排布的多个目标区域合起来仅覆盖大视场角图像的局部,并且,每次合起来覆盖大视场角图像的不同局部时,后续将多组多帧小视场角图像的纹理信息,添加至各自对应的目标图像后,可以对大视场角图像中的更多地方进行纹理信息的添加,扩大了添加纹理信息的范围,从而可以得到细节更多,清晰度更高的目标图像。
可选地,如图6所示,该方法10还可以包括以下S41至S43。
S41、确定多帧小视场角图像各自对应的目标区域。
S42、对多个目标区域进行去重处理。
S43、确定多帧小视场角图像各自对应的目标区域的面积之和,面积之和小于或等于大视场角图像的面积。
其中,去重处理指的是去除多个目标区域中重复多次的部分,仅保留一次。也即,去重处理后得到的是多个目标区域的面积之和,或者说,是多个目标区域的最大连通域。例如,目标区域a和目标区域b具有重叠的区域c,则对目标区域a和目标区域b进行去重处理后,a和b的面积之和指的是a+b-c所指示的面积。
应理解,由于进行了去重处理,所以在后续添加纹理信息时,实际目标区域应为:被提取纹理信息的小视场角图像,在大视场角图像中去重处理后所对应的区域。由此,添加纹理信息时的计算量将减少,提高了处理效率。
应理解,多个目标区域的面积之和小于大视场角图像的面积,说明目标区域合起来仅覆盖大视场角图像的局部。多个目标区域的面积之和等于大视场角图像的面积,说明目标区域合起来可以全部覆盖大视场角图像。由此,后续在添加纹理信息时,可以对大视场角图像中的局部或全部相应添加上纹理信息,提高大视场角图像的清晰度和质量。
应理解,当针对大视场角图像对应的视场角范围内的场景,仅进行了一次拍摄,获取多帧小视场角图像时,去重之后的多帧目标区域的面积之和,即为这一次获取的多帧小视场角图像各自对应的目标区域确定出的。当进行了多次拍摄,获取了多组多帧小视场角图像时,去重之后的多帧目标区域的面积之和,即为多次获取的多帧小视场角图像各自对应的目标区域确定出的。
可选地,目标区域在大视场角图像中的面积占比大于或等于30%。
应理解,当目标区域在大视场角图像中的面积占比较大时,去重处理后使得多个目标区域的面积之和等于大视场角图像的面积时,所需的目标区域的数量较少。由此,针对大视场角图像对应的视场角范围内的场景,可以获取相对数量较少的小视场角图像,并确定数量较少的目标区域,在后续添加纹理信息时,以较少的次数即可添加完大视场角图像中的全部区域中的纹理信息,可以对大视场角图像的整体细节进行提高,覆盖全面且计算量少。
上述主要从电子设备或图像处理装置的角度对本申请实施例提供的方案进行了介绍。可以理解的是,电子设备和图像处理装置,为了实现上述功能,其包含了执行每一个功能相应的硬件结构或软件模块,或两者结合。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备和图像处理装置进行功能模块的划分,例如,可以对应每一个功能划分每一个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。下面以采用对应每一个功能划分每一个功能模块为例进行说明:
图7为本申请实施例提供的一种图像处理装置的结构示意图。该图像处理装置包括摄像头模组,或者,该图像处理装置与摄像头模组相连接。如图7所示,该图像处理装置200包括获取模块210和处理模块220。
该图像处理装置可以执行以下方案:
获取模块210,用于获取大视场角图像。
获取模块210,还用于获取多帧小视场角图像。
多帧小视场角图像是对大视场角图像对应的视场角范围内的场景进行拍摄得到的,不同小视场角图像对应这一视场角范围内的不同场景。
处理模块220,用于对多帧小视场角图像中至少一帧小视场角图像的纹理信息进行提取,并将提取的纹理信息添加至目标区域中,得到目标图像。
目标区域为:多帧小视场角图像在大视场角图像中各自对应的区域。
可选地,多帧小视场角图像沿预设排列位置排布。
可选地,当多次获取多帧小视场角图像时,不同次对应的预设排列位置不同。
可选地,预设排列位置为:圆形、多边形、绕旋转中心旋转成的螺旋形中的任意一种。
可选地,处理模块220,还用于确定多帧小视场角图像各自对应的目标区域;对多个目标区域进行去重处理;确定多帧小视场角图像各自对应的目标区域的面积之和。
面积之和小于或等于大视场角图像的面积。
可选地,目标区域在大视场角图像中的面积占比大于或等于30%。
作为一个示例,结合图3所示的图像处理装置,图7中的获取模块210可以由图3中的接收接口来实现,图7中的处理模块220可以由图3中的中央处理器、图形处理器、微控制器和神经网络处理器中的至少一项来实现,本申请实施例对此不进行任何限制。
本申请实施例还提供另一种图像处理装置,包括:接收接口和处理器。
接收接口用于从电子设备处获取大视场角图像,以及获取多帧小视场角图像,多帧小视场角图像是对大视场角图像对应的视场角范围内的场景进行拍摄得到的,不同小视场角图像对应大视场角图像所对应视场角范围内的不同场景。
处理器,用于调用存储器中存储的计算机程序,以执行上述图像处理方法10中进行处理的步骤。
本申请实施例还提供另一种电子设备,包括:摄像头模组、处理器和存储器。
摄像头模组、处理器和存储器;摄像头模组,用于获取大视场角图像以及获取多帧小视场角图像,多帧小视场角图像是对大视场角图像对应的视场角范围内的场景进行拍摄得到的,不同小视场角图像对应大视场角图像所对应视场角范围内的不同场景;存储器,用于存储可在处理器上运行的计算机程序;处理器,用于执行上述图像处理方法10中进行处理的步骤。
可选地,摄像头模组包括主摄像头和可旋转摄像头。
主摄像头,用于在处理器获取拍照指令后,获取大视场角图像;可旋转摄像头,用于在处理器获取拍照指令后,获取多帧小视场角图像。
严格来说,是通过主摄像头和可旋转摄像头中的图像处理器来获取图像。其中,图像传感器例如可以为电荷耦合元件(charge-coupled device,CCD)、互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)等。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令;当所述计算机可读存储介质在图像处理装置上运行时,使得该图像处理装置执行如上所示的方法。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本申请实施例还提供了一种包含计算机指令的计算机程序产品,当其在图像处理装置上运行时,使得图像处理装置可以执行如上所示的方法。
图8为本申请实施例提供的一种芯片的结构示意图。图8所示的芯片可以为通用处理器,也可以为专用处理器。该芯片包括处理器401。其中,处理器401用于支持图像处理装置执行如上所示的技术方案。
可选的,该芯片还包括收发器402,收发器402用于接受处理器401的控制,用于支持通信装置执行如上所示的技术方案。
可选的,图8所示的芯片还可以包括:存储介质403。
需要说明的是,图8所示的芯片可以使用下述电路或者器件来实现:一个或多个现场可编程门阵列(field programmable gate array,FPGA)、可编程逻辑器件(programmable logic device,PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
上述本申请实施例提供的电子设备、图像处理装置、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法,因此,其所能达到的有益效果可参考上文所提供的方法对应的有益效果,在此不再赘述。
应理解,上述只是为了帮助本领域技术人员更好地理解本申请实施例,而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例,显然可以进行各种等价的修改或变化,例如,上述检测方法的各个实施例中某些步骤可以是不必须的,或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。
还应理解,上文对本申请实施例的描述着重于强调各个实施例之间的不同之处,未提到的相同或相似之处可以互相参考,为了简洁,这里不再赘述。
还应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
还应理解,本申请实施例中,“预先设定”、“预先定义”可以通过在设备(例如,包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
还应理解,本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便,不应构成特别的限定,各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。
还应理解,在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
最后应说明的是:以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种图像处理方法,其特征在于,应用于包括摄像头模组的电子设备,所述摄像头模组包括主摄像头、可旋转摄像头和处理器,所述方法包括:
所述主摄像头获取大视场角图像;
所述可旋转摄像头沿第一预设螺旋形路径移动或旋转,并获取第一组多帧小视场角图像,所述可旋转摄像头沿第二预设矩形路径移动或旋转,并获取第二组多帧小视场角图像;所述第一预设螺旋形路径的中心与所述大视场角图像的中心重合,所述第二组多帧小视场角图像的外边缘与所述大视场角图像的边缘重合;
所述第一组多帧小视场角图像和所述第二组多帧小视场角图像是分别对所述大视场角图像对应的视场角范围内的不同场景进行拍摄得到的;所述第一组多帧小视场角图像和所述第二组多帧小视场角图像的预设排列位置不同;
所述所述第一组多帧小视场角图像中每帧小视场角图像所对应的视场角范围的大小相同,所述第二组多帧小视场角图像中每帧小视场角图像所对应的视场角范围的大小相同,并且,所述第一组多帧小视场角图像中每帧小视场角图像所对应的视场角范围与所述第二组多帧小视场角图像中每帧小视场角图像所对应的视场角范围的大小相同;
所述处理器确定所述第一组多帧小视场角图像和所述第二组多帧小视场角图像在所述大视场角图像中各自对应的目标区域;
对多个目标区域进行去重处理;
确定所述第一组多帧小视场角图像和所述第二组多帧小视场角图像各自对应的目标区域的面积之和,所述面积之和小于或等于所述大视场角图像的面积;
对所述第一组多帧小视场角图像的纹理信息进行提取,并将提取的所述纹理信息添加至所述第一组多帧小视场角图像对应的去重处理后的目标区域中,且,对所述第二组多帧小视场角图像的纹理信息进行提取,并将提取的所述纹理信息添加至所述第二组多帧小视场角图像对应的去重处理后的目标区域中,得到目标图像,所述纹理信息包括物体表面呈现的凹凸不平的沟纹、物体的光滑表面上的花纹。
2.根据权利要求1所述的方法,其特征在于,所述目标区域在所述大视场角图像中的面积占比大于或等于30%。
3.一种图像处理装置,其特征在于,包括:接收接口和处理器;
所述接收接口用于从电子设备处获取大视场角图像,以及获取第一组多帧小视场角图像和第二组多帧小视场角图像,所述第一组多帧小视场角图像和所述第二组多帧小视场角图像是分别对所述大视场角图像对应的视场角范围内的不同场景进行拍摄得到的;所述第一组多帧小视场角图像和所述第二组多帧小视场角图像的预设排列位置不同;所述第一预设螺旋形路径的中心与所述大视场角图像的中心重合,所述第二组多帧小视场角图像的外边缘与所述大视场角图像的边缘重合;
所述第一组多帧小视场角图像中每帧小视场角图像所对应的视场角范围的大小相同,所述第二组多帧小视场角图像中每帧小视场角图像所对应的视场角范围的大小相同,并且,所述第一组多帧小视场角图像中每帧小视场角图像所对应的视场角范围与所述第二组多帧小视场角图像中每帧小视场角图像所对应的视场角范围的大小相同;
所述处理器,用于调用存储器中存储的计算机程序,以执行如权利要求1或2所述的图像处理方法中进行处理的步骤。
4.一种电子设备,其特征在于,包括摄像头模组、处理器和存储器;
所述摄像头模组,用于获取大视场角图像以及获取第一组多帧小视场角图像和第二组多帧小视场角图像,所述第一组多帧小视场角图像和所述第二组多帧小视场角图像是分别对所述大视场角图像对应的视场角范围内的不同场景进行拍摄得到的;所述第一组多帧小视场角图像和所述第二组多帧小视场角图像的预设排列位置不同;所述第一预设螺旋形路径的中心与所述大视场角图像的中心重合,所述第二组多帧小视场角图像的外边缘与所述大视场角图像的边缘重合;
所述第一组多帧小视场角图像中每帧小视场角图像所对应的视场角范围的大小相同,所述第二组多帧小视场角图像中每帧小视场角图像所对应的视场角范围的大小相同,并且,所述第一组多帧小视场角图像中每帧小视场角图像所对应的视场角范围与所述第二组多帧小视场角图像中每帧小视场角图像所对应的视场角范围的大小相同;
所述存储器,用于存储可在所述处理器上运行的计算机程序;
所述处理器,用于执行如权利要求1或2所述的图像处理方法中进行处理的步骤。
5.根据权利要求4所述的电子设备,其特征在于,所述摄像头模组包括主摄像头和可旋转摄像头;
所述主摄像头,用于在所述处理器获取拍照指令后,获取所述大视场角图像;
所述可旋转摄像头,用于在所述处理器获取所述拍照指令后,沿第一预设螺旋形路径移动或旋转,并获取所述第一组多帧小视场角图像;沿第二预设矩形路径移动或旋转,并获取所述第二组多帧小视场角图像。
6.一种芯片,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如权利要求1或2所述的图像处理方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,使所述处理器执行如权利要求1或2所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110707980.9A CN113592751B (zh) | 2021-06-24 | 2021-06-24 | 图像处理方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110707980.9A CN113592751B (zh) | 2021-06-24 | 2021-06-24 | 图像处理方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113592751A CN113592751A (zh) | 2021-11-02 |
CN113592751B true CN113592751B (zh) | 2024-05-07 |
Family
ID=78244430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110707980.9A Active CN113592751B (zh) | 2021-06-24 | 2021-06-24 | 图像处理方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113592751B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113570617B (zh) * | 2021-06-24 | 2022-08-23 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
CN116091711B (zh) * | 2023-04-12 | 2023-09-08 | 荣耀终端有限公司 | 一种三维重建方法及电子设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103236048A (zh) * | 2013-04-18 | 2013-08-07 | 上海交通大学 | 一种基于互信息和交互的医学图像拼接方法 |
CN106791419A (zh) * | 2016-12-30 | 2017-05-31 | 大连海事大学 | 一种融合全景与细节的监控装置及方法 |
CN107087107A (zh) * | 2017-05-05 | 2017-08-22 | 中国科学院计算技术研究所 | 基于双摄像头的图像处理装置及方法 |
CN107637067A (zh) * | 2015-06-08 | 2018-01-26 | 佳能株式会社 | 图像处理设备和图像处理方法 |
WO2018063482A1 (en) * | 2016-09-30 | 2018-04-05 | Qualcomm Incorporated | Systems and methods for fusing images |
CN109600543A (zh) * | 2017-09-30 | 2019-04-09 | 京东方科技集团股份有限公司 | 用于移动设备拍摄全景图像的方法以及移动设备 |
CN109639997A (zh) * | 2018-12-20 | 2019-04-16 | Oppo广东移动通信有限公司 | 图像处理方法、电子装置及介质 |
CN110290300A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 设备成像方法、装置、存储介质及电子设备 |
CN110430357A (zh) * | 2019-03-26 | 2019-11-08 | 华为技术有限公司 | 一种图像拍摄方法与电子设备 |
CN112532857A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 一种延时摄影的拍摄方法及设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10027893B2 (en) * | 2016-05-10 | 2018-07-17 | Nvidia Corporation | Real-time video stabilization for mobile devices based on on-board motion sensing |
US11055866B2 (en) * | 2018-10-29 | 2021-07-06 | Samsung Electronics Co., Ltd | System and method for disparity estimation using cameras with different fields of view |
-
2021
- 2021-06-24 CN CN202110707980.9A patent/CN113592751B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103236048A (zh) * | 2013-04-18 | 2013-08-07 | 上海交通大学 | 一种基于互信息和交互的医学图像拼接方法 |
CN107637067A (zh) * | 2015-06-08 | 2018-01-26 | 佳能株式会社 | 图像处理设备和图像处理方法 |
WO2018063482A1 (en) * | 2016-09-30 | 2018-04-05 | Qualcomm Incorporated | Systems and methods for fusing images |
CN106791419A (zh) * | 2016-12-30 | 2017-05-31 | 大连海事大学 | 一种融合全景与细节的监控装置及方法 |
CN107087107A (zh) * | 2017-05-05 | 2017-08-22 | 中国科学院计算技术研究所 | 基于双摄像头的图像处理装置及方法 |
CN109600543A (zh) * | 2017-09-30 | 2019-04-09 | 京东方科技集团股份有限公司 | 用于移动设备拍摄全景图像的方法以及移动设备 |
CN109639997A (zh) * | 2018-12-20 | 2019-04-16 | Oppo广东移动通信有限公司 | 图像处理方法、电子装置及介质 |
CN110430357A (zh) * | 2019-03-26 | 2019-11-08 | 华为技术有限公司 | 一种图像拍摄方法与电子设备 |
CN110290300A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 设备成像方法、装置、存储介质及电子设备 |
CN112532857A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 一种延时摄影的拍摄方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113592751A (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110445978B (zh) | 一种拍摄方法及设备 | |
CN114092364B (zh) | 图像处理方法及其相关设备 | |
WO2020073959A1 (zh) | 图像捕捉方法及电子设备 | |
CN109544618B (zh) | 一种获取深度信息的方法及电子设备 | |
CN112351156B (zh) | 一种镜头切换方法及装置 | |
CN115601244B (zh) | 图像处理方法、装置和电子设备 | |
CN113452898B (zh) | 一种拍照方法及装置 | |
CN116055874B (zh) | 一种对焦方法和电子设备 | |
CN113592751B (zh) | 图像处理方法、装置和电子设备 | |
US20240119566A1 (en) | Image processing method and apparatus, and electronic device | |
CN112087649B (zh) | 一种设备搜寻方法以及电子设备 | |
CN113542613B (zh) | 一种用于拍照的装置及方法 | |
CN112700377A (zh) | 图像泛光处理方法及装置、存储介质 | |
US20240046604A1 (en) | Image processing method and apparatus, and electronic device | |
CN113364970A (zh) | 一种非视距物体的成像方法和电子设备 | |
CN114257737B (zh) | 一种摄像模式切换方法以及相关设备 | |
WO2022033344A1 (zh) | 视频防抖方法、终端设备和计算机可读存储介质 | |
CN115225800B (zh) | 多摄像头变焦方法、装置及设备 | |
CN114302063B (zh) | 一种拍摄方法及设备 | |
CN116782023A (zh) | 一种拍摄方法和电子设备 | |
CN114745508B (zh) | 一种拍摄方法、终端设备及存储介质 | |
CN116055872B (zh) | 图像获取方法、电子设备和计算机可读存储介质 | |
CN117479008B (zh) | 一种视频处理方法、电子设备及芯片系统 | |
CN115794476B (zh) | 内核图形系统层内存的处理方法和终端设备 | |
CN116017138B (zh) | 测光控件显示方法、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |