CN115665562A - 图像处理方法、电路、设备及介质 - Google Patents
图像处理方法、电路、设备及介质 Download PDFInfo
- Publication number
- CN115665562A CN115665562A CN202211301287.2A CN202211301287A CN115665562A CN 115665562 A CN115665562 A CN 115665562A CN 202211301287 A CN202211301287 A CN 202211301287A CN 115665562 A CN115665562 A CN 115665562A
- Authority
- CN
- China
- Prior art keywords
- image
- chip
- sent
- image processing
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 103
- 238000007499 fusion processing Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 101150045440 ISP1 gene Proteins 0.000 description 7
- 101100353471 Mus musculus Prss28 gene Proteins 0.000 description 7
- 101100509103 Schizosaccharomyces pombe (strain 972 / ATCC 24843) ish1 gene Proteins 0.000 description 7
- 101000610620 Homo sapiens Putative serine protease 29 Proteins 0.000 description 5
- 102100040345 Putative serine protease 29 Human genes 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 101100397225 Schizosaccharomyces pombe (strain 972 / ATCC 24843) isp3 gene Proteins 0.000 description 4
- 101100397226 Schizosaccharomyces pombe (strain 972 / ATCC 24843) isp4 gene Proteins 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像处理方法、电路、设备及介质,属于图像处理技术领域。图像处理方法包括:在环境亮度大于亮度阈值的情况下,第一芯片接收图像传感器发送的第一图像和第二图像;第一芯片将第一图像和第二图像进行图像融合处理,得到第三图像,并向第二芯片发送第三图像;在环境亮度小于或等于亮度阈值的情况下,第一芯片接收图像传感器发送的第四图像,并向第二芯片发送第四图像。
Description
技术领域
本申请属于图像处理技术领域,具体涉及一种图像处理方法、电路、设备及介质。
背景技术
随着电子设备的不断发展,用户对电子设备的影像能力有了更高的要求,要求在外界环境较亮的情况下拍摄得到的图像具有更高的动态范围,在外界环境较暗的情况下拍摄得到的图像具有更好的亮度和更少的噪音。
相关技术中,当外界环境亮度发生变化时,图像传感器的工作模式和图像管道(pipeline)状态均不能自动切换。为了得到较好的图像,需要用户手动退出拍摄再启动拍摄以切换图像传感器的工作模式和图像pipeline状态。然而,通过手动切换图像传感器的工作模式和图像pipeline状态,操作比较繁琐,图像处理效率较低。
发明内容
本申请实施例的目的是提供一种图像处理方法、电路、设备及介质,能够解决图像处理效率低的问题。
第一方面,本申请实施例提供了一种图像处理方法,包括:
在环境亮度大于亮度阈值的情况下,第一芯片接收图像传感器发送的第一图像和第二图像;
第一芯片将第一图像和第二图像进行图像融合处理,得到第三图像,并向第二芯片发送第三图像;
在环境亮度小于或等于亮度阈值的情况下,第一芯片接收图像传感器发送的第四图像,并向第二芯片发送第四图像。
第二方面,本申请实施例提供了一种图像处理电路,包括:
第一芯片和第二芯片,第一芯片包括第一图像接收单元、图像融合单元和第一图像发送单元;
第一图像接收单元,用于在环境亮度大于亮度阈值的情况下,接收图像传感器发送的第一图像和第二图像,在环境亮度小于或等于亮度阈值的情况下,接收图像传感器发送的第四图像;
图像融合单元,用于将第一图像和第二图像进行图像融合处理,得到第三图像;
第一图像发送单元,用于向第二芯片发送第三图像或第四图像。
第三方面,本申请实施例提供了一种电子设备,包括处理器、存储器、和图像传感器,处理器包括本申请实施例第二方面提供的图像处理电路,存储器存储可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面所述的图像处理方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面所述的图像处理方法的步骤。
第五方面,本申请实施例提供了一种芯片,包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面所述的图像处理方法的步骤。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的图像处理方法。
在本申请实施例中,通过在环境亮度大于亮度阈值的情况下,第一芯片接收图像传感器发送的第一图像和第二图像;第一芯片将第一图像和第二图像进行图像融合处理,得到第三图像,并向第二芯片发送第三图像;在环境亮度小于或等于亮度阈值的情况下,第一芯片接收图像传感器发送的第四图像,并向第二芯片发送第四图像。如此,无论电子设备的外部环境是亮环境还是暗环境,图像传感器工作在亮环境工作模式还是暗环境工作模式,第二芯片接收到的都是一个图像,第二芯片无需进行图像pipeline切换,能够提高图像处理效率。
附图说明
图1是相关技术提供的对应SHDR模式的图像处理过程示意图;
图2是相关技术提供的对应Binning模式的图像处理过程示意图;
图3是本申请实施例提供的图像处理方法的流程示意图;
图4是本申请实施例提供的图像处理的第一种过程示意图;
图5是本申请实施例提供的图像处理的第二种过程示意图;
图6是本申请实施例提供的暗环境下的图像处理过程的示意图;
图7是本申请实施例提供的亮环境下的图像处理过程的示意图;
图8是本申请实施例提供的图像处理电路的结构示意图;
图9是本申请实施例提供的电子设备的结构示意图;
图10是实现本申请实施例的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
相关技术中的图像采集单元(例如摄像头)中的图像传感器提供了两种工作模式:交错高动态范围成像(Stagger High Dynamic Range Imaging,SHDR)模式和Binning模式。
当图像传感器工作在SHDR模式时,对于图像传感器采集到的每一帧图像,图像传感器会输出两张原始的即未经过处理的(RAW)图像到一个图像信号处理器(Image SignalProcessor,ISP),该ISP对两张RAW图像进行RAW域图像处理,将RAW域图像处理后得到的两张图像输出到另一个ISP,该ISP对两张图像进行YUV域图像处理,并将YUV域图像处理后得到的两张图像进行融合得到高动态范围(High Dynamic Range,HDR)图像,如图1所示,其中,两张RAW图像包括长曝(Long)RAW图像和短曝(Short)RAW图像;当图像传感器工作在Binning模式,对于图像传感器采集到的每一帧图像,图像传感器会输出一张RAW图像到一个ISP,该ISP对该张RAW图像进行RAW域图像处理,将RAW域图像处理后得到的图像输出到另一个ISP,该ISP对图像进行YUV域图像处理,得到高亮度低噪声图像,如图2所示。其中,在图1和图2中,两个ISP包括ISP1和ISP2。
当图像传感器工作在SHDR模式时,图像采集单元当前的图像pipeline运行在SHDR模式下的pipeline状态,在SHDR模式下的pipeline状态,ISP1需要接收两张图像;当图像传感器工作在Binning模式时,图像采集单元当前的图像pipeline运行在Binning模式下的pipeline状态,在Binning模式下的pipeline状态,ISP1需要接收一张图像。
当外界环境亮度发生变化时,图像传感器的工作模式和图像pipeline状态均不能自动切换。为了得到较好的图像,需要用户手动退出拍摄再启动拍摄以切换图像传感器的工作模式和图像pipeline状态。然而,通过手动切换图像传感器的工作模式和图像pipeline状态,操作比较繁琐,图像处理效率较低。
为了提高图像处理效率,本申请实施例提供了一种图像处理方法、电路、设备及介质。下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、电路、设备及介质进行详细地说明。
图3是本申请实施例提供的图像处理方法的流程示意图。如图3所示,图像处理方法可以包括:
S301:在环境亮度大于亮度阈值的情况下,第一芯片接收图像传感器发送的第一图像和第二图像;
S302:第一芯片将第一图像和第二图像进行图像融合处理,得到第三图像;
S303:向第二芯片发送第三图像;
S304:在环境亮度小于或等于亮度阈值的情况下,第一芯片接收图像传感器发送的第四图像;
S305:向第二芯片发送第四图像。
上述各步骤的具体实现方式将在下文中进行详细描述。
在本申请实施例中,通过在环境亮度大于亮度阈值的情况下,第一芯片接收图像传感器发送的第一图像和第二图像;第一芯片将第一图像和第二图像进行图像融合处理,得到第三图像,并向第二芯片发送第三图像;在环境亮度小于或等于亮度阈值的情况下,第一芯片接收图像传感器发送的第四图像,并向第二芯片发送第四图像。如此,无论电子设备的外部环境是亮环境还是暗环境,图像传感器工作在亮环境工作模式还是暗环境工作模式,第二芯片接收到的都是一个图像,第二芯片无需进行图像pipeline切换,能够提高图像处理效率。
在本申请实施例的一些可能实现中,可以在电子设备中的图像采集单元启动时,获取环境亮度。例如,在电子设备中的图像采集单元启动时利用亮度传感器对环境亮度进行采集,得到环境亮度。
在本申请实施例的一些可能实现中,在S301和S304之前,本申请实施例提供的图像处理方法还可以包括:环境亮度检测模块接收图像传感器发送的图像数据,并根据图像数据进行环境亮度检测。
本申请实施例并不对根据图像数据进行环境亮度检测所采用的方式进行限定,任何可用的方式均可以应用于本申请实施例中。
在本申请实施例中,通过图像传感器发送的图像数据即可检测出环境亮度,无需亮度传感器,能够节省成本。
在本申请实施例的一些可能实现中,在S301和S304之前,本申请实施例提供的图像处理方法还可以包括:根据环境亮度,控制图像传感器的工作模式,其中,图像传感器的工作模式包括:亮环境工作模式或暗环境工作模式。
在本申请实施例的一些可能实现中,本申请实施例中的亮环境工作模式可以为SHDR模式,暗环境工作模式可以为Binning模式。
在本申请实施例的一些可能实现中,在环境亮度大于亮度阈值的情况下,控制图像传感器的工作模式为亮环境工作模式;在环境亮度小于或等于亮度阈值的情况下,控制图像传感器的工作模式为暗环境工作模式。
当图像传感器工作在亮环境工作模式下,图像传感器输出两张图像,即第一图像和第二图像。
当图像传感器工作在暗环境工作模式下,图像传感器仅输出一张图像,即第四图像。
在本申请实施例的一些可能实现中,在S301和S304之前,本申请实施例提供的图像处理方法还可以包括:根据环境亮度,控制第一芯片的工作状态,其中,第一芯片的工作状态包括:Bypass状态和融合(Fusion)状态。
在本申请实施例的一些可能实现中,当环境亮度大于亮度阈值时,控制图像传感器工作在亮环境工作模式,控制第一芯片工作在Fusion状态,在Fusion状态下,第一芯片将图像传感器发送的第一图像和第二图像进行图像融合,得到第三图像,将该第三图像发送给第二芯片。当环境亮度不大于亮度阈值时,控制图像传感器工作在暗环境工作模式,控制第一芯片工作在Bypass状态,在Bypass状态下,第一芯片将图像传感器发送的第四图像转发给第二芯片。
在本申请实施例的一些可能实现中,本申请实施例提供的图像处理方法还可以包括:第二芯片接收第一芯片发送的第三图像,并对第三图像进行RAW域图像处理,得到第五图像;或,第二芯片接收第一芯片发送的第四图像,并对第四图像进行RAW域图像处理,得到第六图像。
在本申请实施例的一些可能实现中,本申请实施例提供的图像处理方法还可以包括:第三芯片接收第二芯片发送的第五图像或第六图像,并对第五图像或第六图像进行YUV域图像处理。
图像处理过程如图4和图5所示,其中,图4示出了图像传感器工作在亮环境工作模式和第一芯片工作在Fusion状态的图像处理过程;图5示出了图像传感器工作在暗环境工作模式和第一芯片工作在Bypass状态的图像处理过程。
在图4中,图像传感器工作在SHDR模式,第一芯片工作在Fushion状态。图像传感器向第一芯片发送第一图像和第二图像;第一芯片对接收到的第一图像和第二图像进行融合,得到第三图像,将第三图像发送给第二芯片;第二芯片对第三图像进行RAW域图像处理,得到第五图像,将第五图像发送给第三芯片,第三芯片对第五图像进行YUV域图像处理。
在图5中,图像传感器工作在Binning模式,第一芯片工作在Bypass状态。图像传感器向第一芯片发送第四图像;第一芯片将接收到的第四图像发送给第二芯片;第二芯片对第四图像进行RAW域图像处理,得到第六图像,将第六图像发送给第三芯片,第三芯片对第六图像进行YUV域图像处理。
在本申请实施例中,无论电子设备的外部环境是亮环境还是暗环境,图像传感器工作在亮环境工作模式还是暗环境工作模式,第二芯片接收到的都是一个图像,第二芯片无需进行图像pipeline切换,能够提高图像处理效率。
在本申请实施例的一些可能实现中,第二芯片可以为预览通路的芯片;还可以为拍照通路的芯片。
其中,图像采集单元的数据通路包括预览通路和拍照通路。不同的数据通路使用不同的芯片。在预览模式下,图像通过预览通路,使用预览通路的芯片进行图像处理;在拍照和录像模式下,图像通过拍照通路,使用拍照通路的芯片进行图像处理。
在本申请实施例的一些可能实现中,当图像采集单元的数据通路为预览通路时,本申请实施例中的RAW域图像处理包括但不限于:镜头矫正、坏点矫正、色彩插值、白平衡等处理;本申请实施例中的RAW域图像处理包括但不限于:影调调整、降噪等处理。当图像采集单元的数据通路为拍照通路时,本申请实施例中的RAW域图像处理包括但不限于:镜头矫正、坏点矫正、色彩插值、白平衡等处理;本申请实施例中的RAW域图像处理还可以包括坏点去除、相位对焦、颜色处理、细节增强等处理。
当图像采集单元的数据通路包括预览通路和拍照通路时,图像处理过程如图6和图7所示,其中,图6示出了暗环境下的图像处理过程;图7示出了亮环境下的图像处理过程。
在图6中,图像传感器将其采集的图像发送给环境亮度检测模块,环境亮度检测模块根据该图像进行环境亮度检测,当检测到环境亮度不大于亮度阈值时,控制图像传感器工作在Binning模式,控制第一芯片工作在Bypass状态。图像采集单元的数据通路首先工作在预览通路,此时,图像传感器将其此时采集的一个图像发送给第一芯片,第一芯片将该图像发送给ISP1,ISP1对该图像进行RAW域图像处理,将RAW域图像处理后得到的图像发送给ISP2,ISP2对RAW域图像处理后得到的图像进行YUV域图像处理。当用户点击“拍照”控件或“录像”控件后,图像采集单元的数据通路切换为拍照通路,图像传感器将其此时采集的一个图像发送给第一芯片,第一芯片将该图像发送给ISP3,ISP3对该图像进行RAW域图像处理,将RAW域图像处理后得到的图像发送给ISP4,ISP4对RAW域图像处理后得到的图像进行YUV域图像处理。
在图7中,图像传感器将其采集的图像发送给环境亮度检测模块,环境亮度检测模块根据该图像进行环境亮度检测,当检测到环境亮度不大于亮度阈值时,控制图像传感器工作在SHDR模式,控制第一芯片工作在Fushion状态。图像采集单元的数据通路首先工作在预览通路,此时,图像传感器将其此时采集的两个图像发送给第一芯片,第一芯片对该两个图像进行融合处理,将融合处理后得到的图像发送给ISP1,ISP1对该融合处理后得到的图像进行RAW域图像处理,将RAW域图像处理得到后的图像发送给ISP2,ISP2对RAW域图像处理后得到的图像进行YUV域图像处理。当用户点击“拍照”控件或“录像”控件后,图像采集单元的数据通路切换为拍照通路,图像传感器将其此时采集的两个图像发送给第一芯片,第一芯片对该两个图像进行融合处理,将融合处理后得到的图像发送给ISP3,ISP3对该融合处理后得到的图像进行RAW域图像处理,将RAW域图像处理得到后的图像发送给ISP4,ISP4对RAW域图像处理后得到的图像进行YUV域图像处理。需要说明的是,上述第一芯片、第二芯片和第三芯片中的芯片可以为包括图像信号处理器ISP的芯片。
需要说明的是,本申请实施例提供的图像处理方法,执行主体可以为图像处理电路。本申请实施例中以图像处理电路执行图像处理方法为例,说明本申请实施例提供的图像处理电路。
图8是本申请实施例提供的图像处理电路的结构示意图。如图8所示,图像处理电路800可以包括:第一芯片801和第二芯片802,第一芯片801包括第一图像接收单元8011、图像融合单元8012和第一图像发送单元8013;
第一图像接收单元8011,用于在环境亮度大于亮度阈值的情况下,接收图像传感器500发送的第一图像和第二图像,在环境亮度小于或等于亮度阈值的情况下,接收图像传感器500发送的第四图像;
图像融合单元8012,用于将第一图像和第二图像进行图像融合处理,得到第三图像;
第一图像发送单元8013,用于向第二芯片802发送第三图像或第四图像。
在本申请实施例中,无论电子设备的外部环境是亮环境还是暗环境,图像传感器工作在亮环境工作模式还是暗环境工作模式,第二芯片接收到的都是一个图像,第二芯片无需进行图像pipeline切换,能够提高图像处理效率。
在本申请实施例的一些可能实现中,图像处理电路800还可以包括:第三芯片803,第二芯片802可以包括:第二图像接收单元8021、第一图像处理单元8022和第二图像发送单元8023;
第二图像接收单元8021,用于接收第一芯片801发送的第三图像或第四图像;
第一图像处理单元8022,用于对第三图像进行RAW域图像处理,得到第五图像;或,对第四图像进行RAW域图像处理,得到第六图像;
第二图像发送单元8023,用于向第三芯片803发送第五图像或第六图像。
在本申请实施例的一些可能实现中,第三芯片803包括:第三图像接收单元8031和第二图像处理单元8032;
第三图像接收单元8031,用于接收第二芯片802发送的第五图像或第六图像;
第二图像处理单元8032,用于对第五图像或第六图像进行YUV域图像处理。
在本申请实施例的一些可能实现中,第二芯片802可以为预览通路芯片或拍照通路芯片。
在本申请实施例的一些可能实现中,图像处理电路800还可以包括:
环境亮度检测模块804,用于接收图像传感器500发送的图像数据,并根据图像数据进行环境亮度检测。
本申请实施例提供的图像处理电路能够实现图3至图7的图像处理方法实施例中的各个过程,为避免重复,这里不再赘述。
可选的,如图9所示,本申请实施例还提供一种电子设备900,包括处理器901、存储器902、图像传感器903,处理器901包括本申请实施例提供的图像处理电路800,存储器902存储有可在处理器901上运行的程序或指令,该程序或指令被处理器901执行时实现上述图像处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
在本申请实施例的一些可能实现中,处理器901可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
在本申请实施例的一些可能实现中,存储器902可以包括只读存储器(Read-OnlyMemory,ROM),随机存取存储器(Random Access Memory,RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器902包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本申请实施例的图像处理方法所描述的操作。
该电子设备900可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(MobileInternet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的电子设备900可以为具有操作系统的电子设备。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
图10是实现本申请实施例的电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
处理器1010包括本申请实施例提供的图像处理电路。
其中,图像处理电路中的第一芯片用于:在环境亮度大于亮度阈值的情况下,接收图像传感器发送的第一图像和第二图像,在环境亮度小于或等于亮度阈值的情况下,接收图像传感器发送的第四图像;将第一图像和第二图像进行图像融合处理,得到第三图像;向第二芯片发送第三图像或第四图像。
在本申请实施例中,无论电子设备的外部环境是亮环境还是暗环境,图像传感器工作在亮环境工作模式还是暗环境工作模式,第二芯片接收到的都是一个图像,第二芯片无需进行图像pipeline切换,能够提高图像处理效率。
在本申请实施例的一些可能实现中,图像处理电路中的第二芯片可以用于:
接收第一芯片发送的第三图像或第四图像;
对第三图像进行RAW域图像处理,得到第五图像;或,对第四图像进行RAW域图像处理,得到第六图像;
向第三芯片发送第五图像或第六图像。
在本申请实施例的一些可能实现中,图像处理电路中的第三芯片可以用于:
接收第二芯片发送的第五图像或第六图像;
对第五图像或第六图像进行YUV域图像处理。
在本申请实施例的一些可能实现中,第二芯片可以为预览通路芯片或拍照通路芯片。
在本申请实施例的一些可能实现中,处理器1010可以用于:
接收图像传感器发送的图像数据,并根据图像数据进行环境亮度检测。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1009可以包括易失性存储器或非易失性存储器,或者,存储器1009可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
处理器1010可包括一个或多个处理单元;可选的,处理器1010集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质包括计算机可读存储介质,计算机可读存储介质的示例包括非暂态计算机可读存储介质,如ROM、RAM、磁碟或者光盘等。
本申请实施例还提供了一种芯片,包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例还提供了一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (12)
1.一种图像处理方法,其特征在于,所述方法包括:
在环境亮度大于亮度阈值的情况下,第一芯片接收图像传感器发送的第一图像和第二图像;
所述第一芯片将所述第一图像和所述第二图像进行图像融合处理,得到第三图像,并向第二芯片发送所述第三图像;
在所述环境亮度小于或等于所述亮度阈值的情况下,所述第一芯片接收所述图像传感器发送的第四图像,并向所述第二芯片发送所述第四图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第二芯片接收所述第一芯片发送的所述第三图像,并对所述第三图像进行RAW域图像处理,得到第五图像;或,
所述第二芯片接收所述第一芯片发送的所述第四图像,并对所述第四图像进行RAW域图像处理,得到第六图像。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
第三芯片接收所述第二芯片发送的所述第五图像,并对所述第五图像进行YUV域图像处理;或,
所述第三芯片接收所述第二芯片发送的所述第六图像,并对所述第六图像进行YUV域图像处理。
4.根据权利要求1所述的方法,其特征在于,所述第二芯片为预览通路芯片或拍照通路芯片。
5.根据权利要求1所述的方法,其特征在于,在所述第一芯片接收图像传感器发送的第一图像和第二图像之前,或,在所述第一芯片接收所述图像传感器发送的第四图像之前,所述方法还包括:
环境亮度检测模块接收所述图像传感器发送的图像数据,并根据所述图像数据进行环境亮度检测。
6.一种图像处理电路,其特征在于,所述电路包括:第一芯片和第二芯片,所述第一芯片包括第一图像接收单元、图像融合单元和第一图像发送单元;
所述第一图像接收单元,用于在环境亮度大于亮度阈值的情况下,接收图像传感器发送的第一图像和第二图像,在所述环境亮度小于或等于所述亮度阈值的情况下,接收所述图像传感器发送的第四图像;
所述图像融合单元,用于将所述第一图像和所述第二图像进行图像融合处理,得到第三图像;
所述第一图像发送单元,用于向第二芯片发送所述第三图像或所述第四图像。
7.根据权利要求6所述的电路,其特征在于,所述电路还包括:第三芯片,所述第二芯片包括:第二图像接收单元、第一图像处理单元和第二图像发送单元;
所述第二图像接收单元,用于接收所述第一芯片发送的所述第三图像或所述第四图像;
所述第一图像处理单元,用于对所述第三图像进行RAW域图像处理,得到第五图像;或,对所述第四图像进行RAW域图像处理,得到第六图像;
所述第二图像发送单元,用于向所述第三芯片发送所述第五图像或所述第六图像。
8.根据权利要求7所述的电路,其特征在于,所述第三芯片包括:第三图像接收单元和第二图像处理单元;
所述第三图像接收单元,用于接收所述第二芯片发送的所述第五图像或所述第六图像;
所述第二图像处理单元,用于对所述第五图像或所述第六图像进行YUV域图像处理。
9.根据权利要求6所述的电路,其特征在于,所述第二芯片为预览通路芯片或拍照通路芯片。
10.根据权利要求6所述的电路,其特征在于,所述电路还包括:
环境亮度检测模块,用于接收所述图像传感器发送的图像数据,并根据所述图像数据进行环境亮度检测。
11.一种电子设备,其特征在于,所述电子设备包括:处理器、存储器和图像传感器;
所述处理器包括权利要求6至10任一项所述的图像处理电路;
所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至5任一项所述的图像处理方法的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至5任一项所述的图像处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211301287.2A CN115665562A (zh) | 2022-10-24 | 2022-10-24 | 图像处理方法、电路、设备及介质 |
PCT/CN2023/125564 WO2024088163A1 (zh) | 2022-10-24 | 2023-10-20 | 图像处理方法、电路、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211301287.2A CN115665562A (zh) | 2022-10-24 | 2022-10-24 | 图像处理方法、电路、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115665562A true CN115665562A (zh) | 2023-01-31 |
Family
ID=84991977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211301287.2A Pending CN115665562A (zh) | 2022-10-24 | 2022-10-24 | 图像处理方法、电路、设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115665562A (zh) |
WO (1) | WO2024088163A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024088163A1 (zh) * | 2022-10-24 | 2024-05-02 | 维沃移动通信有限公司 | 图像处理方法、电路、设备及介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111418201B (zh) * | 2018-03-27 | 2021-10-15 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN110072052B (zh) * | 2019-04-09 | 2021-08-27 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
CN112532892B (zh) * | 2019-09-19 | 2022-04-12 | 华为技术有限公司 | 图像处理方法及电子装置 |
CN114299014A (zh) * | 2021-12-28 | 2022-04-08 | 维沃移动通信有限公司 | 图像处理架构、方法、电子设备及存储介质 |
CN115665562A (zh) * | 2022-10-24 | 2023-01-31 | 维沃移动通信有限公司 | 图像处理方法、电路、设备及介质 |
-
2022
- 2022-10-24 CN CN202211301287.2A patent/CN115665562A/zh active Pending
-
2023
- 2023-10-20 WO PCT/CN2023/125564 patent/WO2024088163A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024088163A1 (zh) * | 2022-10-24 | 2024-05-02 | 维沃移动通信有限公司 | 图像处理方法、电路、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2024088163A1 (zh) | 2024-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240080572A1 (en) | Photographing method and apparatus, and electronic device | |
CN112422798A (zh) | 拍照方法、装置、电子设备和存储介质 | |
WO2024088163A1 (zh) | 图像处理方法、电路、设备及介质 | |
WO2019179242A1 (en) | Image processing method and electronic device | |
CN112565603B (zh) | 图像处理方法、装置及电子设备 | |
CN113721876A (zh) | 投屏处理方法及相关设备 | |
CN112508820A (zh) | 图像处理方法、装置及电子设备 | |
WO2023125669A1 (zh) | 图像处理电路、图像处理方法、电子设备和可读存储介质 | |
WO2022095878A1 (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN112153291B (zh) | 拍照方法和电子设备 | |
CN115278047A (zh) | 拍摄方法、装置、电子设备和存储介质 | |
CN114299014A (zh) | 图像处理架构、方法、电子设备及存储介质 | |
CN114298889A (zh) | 图像处理电路和图像处理方法 | |
CN114339071A (zh) | 图像处理电路、图像处理方法及电子设备 | |
CN114390206A (zh) | 拍摄方法、装置和电子设备 | |
CN114338874A (zh) | 电子设备的图像显示方法、图像处理电路和电子设备 | |
CN113037996A (zh) | 图像处理方法、装置和电子设备 | |
CN112653841A (zh) | 拍摄方法、装置和电子设备 | |
CN112367464A (zh) | 图像输出方法、装置及电子设备 | |
US20130242167A1 (en) | Apparatus and method for capturing image in mobile terminal | |
CN112367470B (zh) | 图像处理方法、装置及电子设备 | |
CN115633251A (zh) | 图像处理方法、电路及电子设备 | |
CN116419044A (zh) | 媒体数据处理单元、方法以及电子设备 | |
CN115665538A (zh) | 图像处理方法、电路及电子设备 | |
CN117714844A (zh) | 视频处理方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |