CN112584034B - 图像处理方法、图像处理装置及应用其的电子设备 - Google Patents

图像处理方法、图像处理装置及应用其的电子设备 Download PDF

Info

Publication number
CN112584034B
CN112584034B CN201910943314.8A CN201910943314A CN112584034B CN 112584034 B CN112584034 B CN 112584034B CN 201910943314 A CN201910943314 A CN 201910943314A CN 112584034 B CN112584034 B CN 112584034B
Authority
CN
China
Prior art keywords
image
result
processing
registration
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910943314.8A
Other languages
English (en)
Other versions
CN112584034A (zh
Inventor
边巧玲
陆艳青
王进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN201910943314.8A priority Critical patent/CN112584034B/zh
Priority to PCT/CN2020/117520 priority patent/WO2021063245A1/zh
Priority to JP2022520039A priority patent/JP7412545B2/ja
Priority to KR1020227014840A priority patent/KR102649993B1/ko
Priority to US17/763,678 priority patent/US20220343520A1/en
Publication of CN112584034A publication Critical patent/CN112584034A/zh
Application granted granted Critical
Publication of CN112584034B publication Critical patent/CN112584034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种图像处理方法、图像处理装置及应用其的电子设备。其中，该图像处理方法包括：通过第一摄像单元获取第一图像；通过第二摄像单元获取第二图像；将所述第一图像中的第一区域和所述第二图像进行配准，获得配准结果；其中，所述第一区域与所述第二图像对应相同的视场区域；根据所述配准结果对所述第一区域和所述第二图像进行融合处理，获得融合图。可以对具有至少两个不同视场的摄像单元获取的图像进行融合处理，以优化图像质量，展现更清晰的画质，解决基于多个摄像单元获取的图像质量不佳的技术问题。

Description

图像处理方法、图像处理装置及应用其的电子设备
技术领域
本发明涉及计算机视觉技术，具体而言，涉及一种图像处理方法、图像处理装置及应用其的电子设备。
背景技术
近年来，随着电子技术的不断发展，各种电子产品，特别是带有摄像装置的电子产品，例如电视(TV)、手机、台式电脑、笔记本电脑、平板电脑、个人数字助理(PDA) 等都广泛地应用在各个生活领域中。与此同时，用户对于这些摄像装置的需求也在不 断增加，产品制造商们通过开发一个又一个的新功能以满足用户的需求。
自2000年全球第一款具备拍照功能的手机出现以来，拍照已经成为手机必不可少的功能，也是目前客户特别关注的功能之一。目前已面市的双摄像头智能手机或平板 电脑通常具有分别安装在设备正面和背面，或者均安装在设备背面的两个摄像头。常 见的双摄像头是指设备上有一个广角镜头和一个长焦镜头，根据用户的选择，可以分 别展现近景和远景的清晰画面。
受限于便携式电子设备(例如智能手机或平板电脑)的尺寸和重量，为了得到更好的摄像效果，基于多摄的智能电子设备将成为发展的趋势。但是，如何处理使用不 同摄像头获取的图像以进一步提升输出图像的质量是关注的焦点之一。
发明内容
本发明实施例提供了一种图像处理方法、图像处理装置及应用其的电子设备，以至少解决基于多个摄像单元获取的图像质量不佳的技术问题。
根据本发明实施例的一个方面，提供了一种图像处理方法，用于具有至少两个摄像单元的电子设备，所述图像处理方法包括：通过第一摄像单元获取第一图像；通过 第二摄像单元获取第二图像；将所述第一图像中的第一区域和所述第二图像进行配准， 获得配准结果；其中，所述第一区域与所述第二图像对应相同的视场区域；根据所述 配准结果对所述第一区域和所述第二图像进行融合处理，获得融合图。
可选地，该图像处理方法还包括：使用画质提升技术对所述第一图像中的第二区域进行处理，其中，所述第二区域为所述第一图像中第一区域以外的区域。
可选地，所述画质提升技术包括基于单帧或多帧的深度学习技术。
可选地，所述第一摄像单元与所述第二摄像单元具有不同的视场。
可选地，所述将所述第一图像中的第一区域和所述第二图像进行配准，获得配准结果包括：对所述第一区域和所述第二图像按照预定倍率进行缩小处理，获得第一缩 小图像和第二缩小图像；使用预设方法对所述第一缩小图像和所述第二缩小图像进行 处理，获得第一结果图和第二结果图；对所述第一结果图和所述第二结果图按照所述 预定倍率进行放大处理，获得第一放大图像和第二放大图像；使用第一配准方法对所 述第一放大图像和所述第二放大图像进行处理，获得所述配准结果。
可选地，所述预设方法为Dense Inverse Search(DIS)光流法。
可选地，所述使用预设方法对所述第一缩小图像和所述第二缩小图像进行处理，获得第一结果图和第二结果图包括：对所述第一缩小图像和所述第二缩小图像进行极 线校正及匹配计算，获得第一处理结果；对所述第一处理结果进行第二次处理，获得 所述第一结果图和所述第二结果图。
可选地，所述对所述第一处理结果进行第二次处理，获得所述第一结果图和所述第二结果图包括：使用极线校正逆变换和第二配准方法对所述第一处理结果进行处理， 获得所述第一结果图和所述第二结果图。
可选地，所述使用极线校正逆变换和第二配准方法对所述第一处理结果进行处理， 获得所述第一结果图和所述第二结果图包括：使用极线校正逆变换对所述第一处理结果进行处理，获得第二处理结果；使用第二配准方法对所述第二处理结果进行处理， 获得所述第一结果图和所述第二结果图。
可选地，所述使用极线校正逆变换和第二配准方法对所述第一处理结果进行处理， 获得所述第一结果图和所述第二结果图包括：使用第二配准方法对所述第一处理结果进行处理，获得第三处理结果；使用所述极线校正逆变换对所述第三处理结果进行处 理，获得所述第一结果图和所述第二结果图。
可选地，所述第一配准方法包括：稠密光流计算法、半稠密光流计算法、局部配 准方法、全局配准方法。
可选地，所述根据所述配准结果对所述第一区域和所述第二图像进行融合处理，获得融合图包括：根据所述配准结果确定所述第一区域和所述第二图像之间的视差、 遮挡程度或视场中是否存在运动物体；根据所述第一区域和所述第二图像之间的视差、 遮挡程度或视场中是否存在运动物体中的一项或多项计算差异值；将所述差异值与预 设阈值比较，获得比较结果；根据所述比较结果，对所述第一区域和所述第二图像进 行融合处理，获得所述融合图。
可选地，当所述差异值大于等于所述预设阈值时，比较结果表示所述第一区域和所述第二图像之间的视差较大或遮挡程度较大或视场中存在运动物体，不对所述第一 区域和所述第二图像的对应像素点进行融合；当所述差异值小于所述预设阈值时，比 较结果表示所述第一区域和所述第二图像之间的视差较小且遮挡程度较小且视场中不 存在运动物体，对所述第一区域和所述第二图像的对应像素点进行融合。
根据本发明实施例的另一方面，还提供了一种图像处理装置，包括：第一摄像单元，用于获取第一图像；第二摄像单元，用于获取第二图像；配准单元，用于将所述 第一图像中的第一区域和所述第二图像进行配准，获得配准结果；其中，所述第一区 域与所述第二图像对应相同的视场区域；融合单元，用于根据所述配准结果对所述第 一区域和所述第二图像进行融合处理，获得融合图。
可选地，所述配准单元包括：缩小单元，用于对所述第一区域和所述第二图像按照预定倍率进行缩小处理，获得第一缩小图像和第二缩小图像；第一处理单元，用于 使用预设方法对所述第一缩小图像和所述第二缩小图像进行处理，获得第一结果图和 第二结果图；放大单元，用于对所述第一结果图和所述第二结果图按照所述预定倍率 进行放大处理，获得第一放大图像和第二放大图像；第一配准子单元，用于使用第一 配准方法对所述第一放大图像和所述第二放大图像进行处理，获得所述配准结果。
可选地，所述融合单元包括：确定单元，用于根据所述配准结果确定所述第一区域和所述第二图像之间的视差、遮挡程度或视场中是否存在运动物体；计算单元，用 于根据所述第一区域和所述第二图像之间的视差、遮挡程度或视场中是否存在运动物 体中的一项或多项计算差异值；比较单元，用于将所述差异值与预设阈值比较，获得 比较结果；融合子单元，用于根据所述比较结果，对所述第一区域和所述第二图像进 行融合处理，获得所述融合图。
根据本发明实施例的另一方面，还提供了一种存储介质，包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的图像处理方法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存 储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可 执行指令来执行上述任意一项所述的图像处理方法。
在本发明实施例中，通过执行以下步骤：通过第一摄像单元获取第一图像；通过第二摄像单元获取第二图像；将所述第一图像中的第一区域和所述第二图像进行配准， 获得配准结果；其中，所述第一区域与所述第二图像对应相同的视场区域；根据所述 配准结果对所述第一区域和所述第二图像进行融合处理，获得融合图。可以对具有至 少两个不同视场的摄像单元获取的图像进行融合处理，以优化图像质量，展现更清晰 的画质，解决基于多个摄像单元获取的图像质量不佳的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图 中：
图1是根据本发明实施例的一种可选的图像处理方法的流程图；
图2是根据本发明实施例的一种可选的图像配准方法的流程图；
图3是根据本发明实施例的一种可选的图像融合方法的流程图；
图4(a)至图4(c)示出了采用本发明实施例所公开的图像处理方法的测试效果；
图5是根据本发明实施例的一种可选的图像处理装置的结构框图；
图6(a)至图6(c)分别示出了根据本发明实施例的具有不同摄像头位置的电子设备。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例 仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领 域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于 本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这 样使用的顺序在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在 这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的 任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方 法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚 地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例可以应用于具有多个摄像单元的电子设备中，电子设备可以包括：智能手机、平板电脑、电子阅读器、台式电脑、工作站、服务器、个人数字助理(PDA)、 便携式多媒体播放器(PMP)、医疗设备、相机或可穿戴设备(如手表、手环、眼镜、 头戴装置等附件类型的设备)、电子衣服、可植入身体的皮肤芯片、车载电子仪器等。
下面说明本发明实施例的一种可选的图像处理方法的流程图。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并 且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序 执行所示出或描述的步骤。
参考图1，是根据本发明实施例的一种可选的图像处理方法的流程图。如图1所示，该图像处理方法包括如下步骤：
S10，通过第一摄像单元获取第一图像；
S12，通过第二摄像单元获取第二图像；
S14：将第一图像中的第一区域和第二图像进行配准，获得配准结果；其中，第一区域与第二图像对应相同的视场区域；
S16：根据配准结果对第一区域和第二图像进行融合处理，获得融合图。
可选的，在本发明实施例中，该图像处理方法可用于处理具有多个摄像单元的电子设备所获取的图像，其中，多个摄像单元可以全部或部分地具有不同的视场，可以 分别独立地安装在电子设备的不同位置或者，全部或部分集成为一个摄像或多个摄像 模块后以嵌入式或外接的方式安装在电子设备上。步骤S10中的第一摄像单元可以为 电子设备上的一个镜头或摄像头，步骤S12中的第二摄像单元可以为电子设备上的另 一个镜头或摄像头。其中，第一摄像单元和第二摄像单元可以独立安装也可以集成在 一个摄像模块中。第一摄像单元与第二摄像单元具有不同的视场，具体地，第一摄像 单元的视场大于第二摄像单元的视场，例如，第一摄像单元可以为广角摄像头，第二 摄像单元可以为长焦摄像头；又例如，第一摄像单元可以为超广角摄像头，第二摄像 单元可以为广角摄像头等。
在本发明实施例中，通过上述步骤，可以对具有至少两个不同视场的摄像单元获取的图像进行融合处理，以优化图像质量，展现更清晰的画质。当电子设备包含具有 多个不同视场的摄像单元时，例如，包含超广角摄像头、广角摄像头和长焦摄像头， 或者包含超广角摄像头、广角摄像头、长焦摄像头和超长焦摄像头，在用户拍照的时 候，可以合理选择和利用摄像单元，智能地合成画质最佳的图片。
在本发明的另一种实施例中，该图像处理方法还可以包括步骤S18：使用画质提升技术对第一图像中的第二区域进行处理，其中，第二区域为第一图像中第一区域以 外的区域。可选的，画质提升技术包括基于单帧或多帧的深度学习技术，可以实现解 析力的提升、去除模糊、去噪等技术效果。
在本发明的另一种实施例中，该图像处理方法还可以包括步骤S13，即在获取第一图像或第二图像后，对第一图像和第二图像进行处理，包括调整第一图像或第二图 像的自动曝光(AE)信息、自动白平衡(AWB)信息、自动对焦(AF)信息等来校正第 一图像或第二图像的颜色、亮度等。
下面对步骤S14做具体的说明。参考图2，是根据本发明实施例的一种可选的图 像配准方法的流程图。
在本发明实施例中，步骤S14，即将第一图像中的第一区域和第二图像进行配准，获得配准结果可以包括：
S140：对第一区域和第二图像按照预定倍率进行缩小处理，获得第一缩小图像和第二缩小图像；
S142：使用预设方法对第一缩小图像和第二缩小图像进行处理，获得第一结果图和第二结果图；
S144：对第一结果图和第二结果图按照预定倍率进行放大处理，获得第一放大图像和第二放大图像；
S146：使用第一配准方法对第一放大图像和第二放大图像进行处理，获得配准结果。
可选的，在本发明一种实施例中，预定倍率主要是根据性能要求来定制，例如，2倍、3倍等；通过第一区域和第二图像按照预定倍率进行缩小处理，可以对整个算法 处理时间做优化，加速算法执行性能。
可选的，在本发明一种实施例中，预设方法为Dense Inverse Search(DIS)光 流法，主要包括：块匹配、稀疏光流稠密化和变分优化，是兼顾了稀疏光流法和稠密 光流法的一种光流法。
可选的，在本发明另一种实施例中，使用预设方法对第一缩小图像和第二缩小图像进行处理，获得第一结果图和第二结果图包括：对第一缩小图像和第二缩小图像进 行极线(Epipolar Line)校正及匹配计算，获得第一处理结果；对第一处理结果进行 第二次处理，获得第一结果图和第二结果图。其中，极线校正用于将第一缩小图像和 第二缩小图像之间对应像素点校正到同一水平线上，经过极线校正后的图像对只存在 水平方向的视差，垂直方向的视差为零(也可能是只存在垂直方向的视差，水平方向 的视差为零)。由此，可以使得匹配计算从二维降到一维，从而提高匹配速度以及精度。 匹配计算可以用于计算经过极线校正后的图像对中对应像素点的偏移量，并根据偏移 量调整第一缩小图像或第二缩小图像的相应像素点，由此实现图像对的匹配。
由于经过极线校正的图像对相对第一缩小图像和第二缩小图像有几何形变，为了获取与第一缩小图像和第二缩小图像对应的视差图，需要对第一处理结果进行第二次 处理。在本发明一个实施例中，对第一处理结果进行第二次处理，获得第一结果图和 第二结果图包括：使用极线校正逆变换和第二配准方法对第一处理结果进行处理，获 得第一结果图和第二结果图。极线校正逆变换和第二配准方法可以依次进行，例如， 在一种实施例中，先使用极线校正逆变换对第一处理结果进行处理，获得第二处理结 果；再使用第二配准方法对第二处理结果进行处理，获得第一结果图和第二结果图。 又例如，在另一种实施例中，先使用第二配准方法对第一处理结果进行处理，获得第 三处理结果；再使用极线校正逆变换对第三处理结果进行处理，获得第一结果图和第 二结果图。由此，使得经过极线校正逆变换和第二配准方法处理得到的第一结果图和 第二结果图与第一缩小图像和第二缩小图像几何形状保持一致，对应像素点具有相同 齐次坐标。
可选的，在本发明实施例中，第一配准方法或第二配准方法可以包括：稠密光流计算法、半稠密光流计算法、局部配准方法、全局配准方法等。
通过上述步骤，可以将对应相同视场区域的第一图像中的第一区域和第二图像进行配准，获得配准结果。
下面对步骤S16做具体的说明。参考图3，是根据本发明实施例的一种可选的图 像融合方法的流程图。
在本发明实施例中，步骤S16，即根据配准结果对第一区域和第二图像进行融合处理包括：
S160：根据所述配准结果确定所述第一区域和所述第二图像之间的视差、遮挡程度或视场中是否存在运动物体；
S162：根据第一区域和第二图像之间的视差、遮挡程度或视场中是否存在运动物体中的一项或多项计算差异值；
S164：将差异值与预设阈值比较，获得比较结果；
S166：根据比较结果，对第一区域和第二图像进行融合处理，获得融合图。
可选的，在本发明实施例中，当差异值大于等于预设阈值时，比较结果表示第一区域和第二图像之间的视差较大或遮挡程度较大或视场中存在运动物体，不对第一区 域和第二图像的对应像素点进行融合；当差异值小于预设阈值时，比较结果表示第一 区域和第二图像之间的视差较小且遮挡程度较小且视场中不存在运动物体，可以对第 一区域和第二图像的对应像素点进行融合。在本发明的一种实施例中，预设阈值可以 根据所期望的融合效果确定，预设阈值越大，融合要求越宽松，第一区域和第二图像 中融合的像素点越多；预设阈值越小，融合要求越严格，第一区域和第二图像中融合 的像素点越少。
可选的，在本发明实施例中，视差、遮挡程度通过对第一缩小图像和第二缩小图像进行极线校正及匹配计算后所获得的误差表示。视场中是否存在运动物体通过第一 放大图像和第二放大图像对应像素点的误差表示。
图4(a)至图4(c)示出了采用本发明实施例所公开的图像处理方法的测试效果。图4(a)表示通过第一摄像单元获取的第一图像，在图4(a)中，方框中的区域为第一图像 中的第一区域42A，当目标物比较小的时候，例如蜜蜂罐的标签，第一摄像单元无法 对其进行精准定焦，导致拍摄图像模糊不清，如图4(a)右下角所示的标签放大图所示 (附图标记44A)，标签上的字体非常模糊，不易辨认；图4(b)表示通过第二摄像单元 获取的第二图像，第二图像42B与第一图像中第一区域42A对应，当目标物比较小的 时候，例如蜜蜂罐的标签，第二摄像单元能够对其进行精准定焦，获得清晰的拍摄图 像，如图4(b)右下角所示的标签放大图所示(附图标记44B)，标签上的字体清晰可见； 图4(c)表示采用本发明实施例所公开的图像处理方法获得的融合图，在获得的图像视 角大小不变的情况下，即融合图4(c)与第一图像4(a)的图像视角一样，通过将第一图 像的第一区域和第二图像进行融合后获得融合区域42C，如图4(c)右下角所示的标签 放大图所示(附图标记44C)，经过融合后，标签上的字体仍然清晰可见。
参考图5，是根据本发明实施例的一种可选的图像处理装置的结构框图。如图5 所示，图像处理装置5包括：
第一摄像单元50，用于获取第一图像；
第二摄像单元52，用于获取第二图像；
配准单元54，用于将所述第一图像中的第一区域和所述第二图像进行配准，获得配准结果；其中，所述第一区域与所述第二图像对应相同的视场区域；
融合单元56，用于根据所述配准结果对所述第一区域和所述第二图像进行融合处理，获得融合图。
可选的，在本发明实施例中，图像处理装置还可以包括画质提升单元，用于使用画质提升技术对第一图像中的第二区域进行处理，其中，第二区域为第一图像中第一 区域以外的区域。可选的，画质提升技术包括基于单帧或多帧的深度学习技术，可以 实现解析力的提升、去除模糊、去噪等技术效果。
在本发明的另一种实施例中，图像处理装置还可以包括校正单元，用于在获取第一图像或第二图像后，对第一图像和第二图像进行处理，包括调整第一图像或第二图 像的自动曝光(AE)信息、自动白平衡(AWB)信息、自动对焦(AF)信息等来校正第 一图像或第二图像的颜色、亮度等。
可选的，在本发明实施例中，配准单元54可以包括：
缩小单元540，用于对第一区域和第二图像按照预定倍率进行缩小处理，获得第一缩小图像和第二缩小图像；
第一处理单元542，用于使用预设方法对第一缩小图像和第二缩小图像进行处理，获得第一结果图和第二结果图；
放大单元544，用于对第一结果图和第二结果图按照预定倍率进行放大处理，获得第一放大图像和第二放大图像；
第一配准子单元546，用于第一配准方法对第一放大图像和所述第二放大图像进行处理，获得所述配准结果。
可选的，在本发明一种实施例中，预定倍率主要是根据性能要求来定制，例如，2倍、3倍等；通过第一区域和第二图像按照预定倍率进行缩小处理，可以对整个算法 处理时间做优化，加速算法执行性能。
可选的，在本发明一种实施例中，预设方法为Dense Inverse Search(DIS)光 流法，主要包括：块匹配、稀疏光流稠密化和变分优化，是兼顾了稀疏光流法和稠密 光流法的一种光流法。
可选的，在本发明另一种实施例中，使用预设方法对第一缩小图像和第二缩小图像进行处理，获得第一结果图和第二结果图包括：对第一缩小图像和第二缩小图像进 行极线(Epipolar Line)校正及匹配计算，获得第一处理结果；对第一处理结果进行 第二次处理，获得第一结果图和第二结果图。其中，极线校正用于将第一缩小图像和 第二缩小图像之间对应像素点校正到同一水平线上，经过极线校正后的图像对只存在 水平方向的视差，垂直方向的视差为零(也可能是只存在垂直方向的视差，水平方向 的视差为零)。由此，可以使得匹配计算从二维降到一维，从而提高匹配速度以及精度。 匹配计算可以用于计算经过极线校正后的图像对中对应像素点的偏移量，并根据偏移 量调整第一缩小图像或第二缩小图像的相应像素点，由此实现图像对的匹配。
由于经过极线校正的图像对相对第一缩小图像和第二缩小图像有几何形变，为了获取与第一缩小图像和第二缩小图像对应的视差图，需要对第一处理结果进行第二次 处理。在本发明一个实施例中，对第一处理结果进行第二次处理，获得第一结果图和 第二结果图包括：使用极线校正逆变换和第二配准方法对第一处理结果进行处理，获 得第一结果图和第二结果图。极线校正逆变换和第二配准方法可以依次进行，例如， 在一种实施例中，先使用极线校正逆变换对第一处理结果进行处理，获得第二处理结 果；再使用第二配准方法对第二处理结果进行处理，获得第一结果图和第二结果图。 又例如，在另一种实施例中，先使用第二配准方法对第一处理结果进行处理，获得第 三处理结果；再使用极线校正逆变换对第三处理结果进行处理，获得第一结果图和第 二结果图。由此，使得经过极线校正逆变换和第二配准方法处理得到的第一结果图和 第二结果图与第一缩小图像和第二缩小图像几何形状保持一致，对应像素点具有相同 齐次坐标。
可选的，在本发明实施例中，第一配准方法或第二配准方法可以包括：稠密光流计算法、半稠密光流计算法、局部配准方法、全局配准方法等。
通过上述步骤，可以将对应相同视场区域的第一图像中的第一区域和第二图像进行配准，获得配准结果。
可选的，在本发明实施例中，融合单元56可以包括：
确定单元560，用于根据配准结果确定第一区域和所述第二图像之间的视差、遮挡程度或视场中是否存在运动物体；
计算单元562，用于根据第一区域和第二图像之间的视差、遮挡程度或视场中是否存在运动物体中的一项或多项计算差异值；
比较单元564，用于将差异值与预设阈值比较，获得比较结果；
融合子单元566，用于根据比较结果，对第一区域和第二图像进行融合处理，获 得融合图。
可选的，在本发明实施例中，当差异值大于等于预设阈值时，比较结果表示第一区域和第二图像之间的视差较大或遮挡程度较大或视场中存在运动物体，不对第一区 域和第二图像的对应像素点进行融合；当差异值小于预设阈值时，比较结果表示第一 区域和第二图像之间的视差较小且遮挡程度较小且视场中不存在运动物体，可以对第 一区域和第二图像的对应像素点进行融合。在本发明的一种实施例中，预设阈值可以 根据所期望的融合效果确定，预设阈值越大，融合要求越宽松，第一区域和第二图像 中融合的像素点越多；预设阈值越小，融合要求越严格，第一区域和第二图像中融合 的像素点越少。
可选的，在本发明实施例中，视差、遮挡程度通过对第一缩小图像和第二缩小图像进行极线校正及匹配计算后所获得的误差表示。视场中是否存在运动物体通过第一 放大图像和第二放大图像对应像素点的误差表示。
本发明实施例可以应用于具有多个摄像单元的电子设备中。参考图6(a)至图6(c)， 分别示出了根据本发明实施例的具有不同摄像头位置的电子设备。可以看出，多个摄像单元可以分别独立地安装在电子设备的不同位置。其中，多个摄像单元包含至少两 个具有不同的视场的摄像单元。
当然，图6(a)至图6(c)仅仅是具有三个摄像单元的电子设备的示例。本领域技术人员可知，电子设备中多个摄像单元的数量和位置可根据需要调整，而不仅限于图6(a) 至图6(c)中所给出的示例。例如，多个摄像单元的数量可以为3个以上，可以部分或 全部具有不同的视场，可以分别独立地安装在电子设备的不同位置或者，部分或全部 集成为一个摄像或多个摄像模块后以嵌入式或外接的方式安装在电子设备上。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存 储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执 行上述任意一项的图像处理方法。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的图像处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分， 可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件 可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所 显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模 块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到 多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案 的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成 的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时， 可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的 形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一 台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所 述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘 等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润 饰也应视为本发明的保护范围。

Claims (14)

1.一种图像处理方法，用于具有至少两个摄像单元的电子设备，所述图像处理方法包括：
通过第一摄像单元获取第一图像；
通过第二摄像单元获取第二图像；
将所述第一图像中的第一区域和所述第二图像进行配准，获得配准结果；其中，所述第一区域与所述第二图像对应相同的视场区域；
根据所述配准结果对所述第一区域和所述第二图像进行融合处理，获得融合图；
所述将所述第一图像中的第一区域和所述第二图像进行配准，获得配准结果包括：
对所述第一区域和所述第二图像按照预定倍率进行缩小处理，获得第一缩小图像和第二缩小图像；
使用预设方法对所述第一缩小图像和所述第二缩小图像进行处理，获得第一结果图和第二结果图；
对所述第一结果图和所述第二结果图按照所述预定倍率进行放大处理，获得第一放大图像和第二放大图像；
使用第一配准方法对所述第一放大图像和所述第二放大图像进行处理，获得所述配准结果；
所述根据所述配准结果对所述第一区域和所述第二图像进行融合处理，获得融合图包括：
根据所述配准结果确定所述第一区域和所述第二图像之间的视差、遮挡程度或视场中是否存在运动物体；
根据所述第一区域和所述第二图像之间的视差、遮挡程度以及视场中是否存在运动物体计算差异值；
将所述差异值与预设阈值比较，获得比较结果；
根据所述比较结果，判断是否对所述第一区域和所述第二图像的对应像素点进行融合处理；
所述视差和所述遮挡程度通过对所述第一缩小图像和所述第二缩小图像进行极线校正及匹配计算后所获得的误差表示；所述视场中是否存在运动物体通过所述第一放大图像和所述第二放大图像对应像素点的误差表示。
2.根据权利要求1所述的图像处理方法，还包括：使用画质提升技术对所述第一图像中的第二区域进行处理，其中，所述第二区域为所述第一图像中第一区域以外的区域。
3.根据权利要求2所述的图像处理方法，其特征在于，所述画质提升技术包括基于单帧或多帧的深度学习技术。
4.根据权利要求1所述的图像处理方法，其特征在于，所述第一摄像单元与所述第二摄像单元具有不同的视场。
5.根据权利要求1所述的图像处理方法，其特征在于，所述预设方法为DIS光流法。
6.根据权利要求1所述的图像处理方法，其特征在于，所述使用预设方法对所述第一缩小图像和所述第二缩小图像进行处理，获得第一结果图和第二结果图包括：
对所述第一缩小图像和所述第二缩小图像进行极线校正及匹配计算，获得第一处理结果；
对所述第一处理结果进行第二次处理，获得所述第一结果图和所述第二结果图。
7.根据权利要求6所述的图像处理方法，其特征在于，所述对所述第一处理结果进行第二次处理，获得所述第一结果图和所述第二结果图包括：
使用极线校正逆变换和第二配准方法对所述第一处理结果进行处理，获得所述第一结果图和所述第二结果图。
8.根据权利要求7所述的图像处理方法，其特征在于，所述使用极线校正逆变换和第二配准方法对所述第一处理结果进行处理，获得所述第一结果图和所述第二结果图包括：
使用极线校正逆变换对所述第一处理结果进行处理，获得第二处理结果；
使用第二配准方法对所述第二处理结果进行处理，获得所述第一结果图和所述第二结果图。
9.根据权利要求7所述的图像处理方法，其特征在于，所述使用极线校正逆变换和第二配准方法对所述第一处理结果进行处理，获得所述第一结果图和所述第二结果图包括：
使用第二配准方法对所述第一处理结果进行处理，获得第三处理结果；
使用所述极线校正逆变换对所述第三处理结果进行处理，获得所述第一结果图和所述第二结果图。
10.根据权利要求1所述的图像处理方法，其特征在于，所述第一配准方法包括：稠密光流计算法、半稠密光流计算法、局部配准方法、全局配准方法。
11.根据权利要求1所述的图像处理方法，其特征在于，当所述差异值大于等于所述预设阈值时，比较结果表示所述第一区域和所述第二图像之间的视差较大或遮挡程度较大或视场中存在运动物体，不对所述第一区域和所述第二图像的对应像素点进行融合；当所述差异值小于所述预设阈值时，比较结果表示所述第一区域和所述第二图像之间的视差较小且遮挡程度较小且视场中不存在运动物体，对所述第一区域和所述第二图像的对应像素点进行融合。
12.一种图像处理装置，包括：
第一摄像单元，用于获取第一图像；
第二摄像单元，用于获取第二图像；
配准单元，用于将所述第一图像中的第一区域和所述第二图像进行配准，获得配准结果；其中，所述第一区域与所述第二图像对应相同的视场区域；
融合单元，用于根据所述配准结果对所述第一区域和所述第二图像进行融合处理，获得融合图；所述配准单元包括：
缩小单元，用于对所述第一区域和所述第二图像按照预定倍率进行缩小处理，获得第一缩小图像和第二缩小图像；
第一处理单元，用于使用预设方法对所述第一缩小图像和所述第二缩小图像进行处理，获得第一结果图和第二结果图；
放大单元，用于对所述第一结果图和所述第二结果图按照所述预定倍率进行放大处理，获得第一放大图像和第二放大图像；
第一配准子单元，用于使用第一配准方法对所述第一放大图像和所述第二放大图像进行处理，获得所述配准结果；
所述融合单元包括：
确定单元，用于根据所述配准结果确定所述第一区域和所述第二图像之间的视差、遮挡程度或视场中是否存在运动物体；
计算单元，用于根据所述第一区域和所述第二图像之间的视差、遮挡程度以及视场中是否存在运动物体计算差异值；
比较单元，用于将所述差异值与预设阈值比较，获得比较结果；
融合子单元，用于根据所述比较结果，判断是否对所述第一区域和所述第二图像的对应像素点进行融合处理；
所述视差和所述遮挡程度通过对所述第一缩小图像和所述第二缩小图像进行极线校正及匹配计算后所获得的误差表示；所述视场中是否存在运动物体通过所述第一放大图像和所述第二放大图像对应像素点的误差表示。
13.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至11中任意一项所述的图像处理方法。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至11中任意一项所述的图像处理方法。
CN201910943314.8A 2019-09-30 2019-09-30 图像处理方法、图像处理装置及应用其的电子设备 Active CN112584034B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910943314.8A CN112584034B (zh) 2019-09-30 2019-09-30 图像处理方法、图像处理装置及应用其的电子设备
PCT/CN2020/117520 WO2021063245A1 (zh) 2019-09-30 2020-09-24 图像处理方法、图像处理装置及应用其的电子设备
JP2022520039A JP7412545B2 (ja) 2019-09-30 2020-09-24 画像処理方法、画像処理装置、及びそれを応用する電子機器
KR1020227014840A KR102649993B1 (ko) 2019-09-30 2020-09-24 이미지 처리 방법, 이미지 처리 장치 및 이를 적용한 전자기기
US17/763,678 US20220343520A1 (en) 2019-09-30 2020-09-24 Image Processing Method and Image Processing Apparatus, and Electronic Device Using Same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910943314.8A CN112584034B (zh) 2019-09-30 2019-09-30 图像处理方法、图像处理装置及应用其的电子设备

Publications (2)

Publication Number Publication Date
CN112584034A CN112584034A (zh) 2021-03-30
CN112584034B true CN112584034B (zh) 2023-04-07

Family

ID=75116530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910943314.8A Active CN112584034B (zh) 2019-09-30 2019-09-30 图像处理方法、图像处理装置及应用其的电子设备

Country Status (5)

Country Link
US (1) US20220343520A1 (zh)
JP (1) JP7412545B2 (zh)
KR (1) KR102649993B1 (zh)
CN (1) CN112584034B (zh)
WO (1) WO2021063245A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570530B (zh) * 2021-06-10 2024-04-16 北京旷视科技有限公司 图像融合方法、装置、计算机可读存储介质和电子设备
CN113793272B (zh) * 2021-08-11 2024-01-26 东软医疗系统股份有限公司 图像降噪方法及装置、存储介质、终端
CN114979487A (zh) * 2022-05-27 2022-08-30 联想(北京)有限公司 图像处理方法、装置及电子设备和存储介质
CN115242947B (zh) * 2022-07-01 2023-08-08 浙江大学 一种头戴式高清伤口评估及记录系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385541A (zh) * 2016-09-30 2017-02-08 虹软(杭州)科技有限公司 利用广角摄像组件及长焦摄像组件实现变焦的方法
CN107087107A (zh) * 2017-05-05 2017-08-22 中国科学院计算技术研究所 基于双摄像头的图像处理装置及方法
CN109479092A (zh) * 2016-07-22 2019-03-15 索尼公司 图像处理设备和图像处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP5112104B2 (ja) * 2008-02-15 2013-01-09 オリンパス株式会社 画像処理装置及び画像処理プログラム
CN102075679A (zh) * 2010-11-18 2011-05-25 无锡中星微电子有限公司 一种图像采集方法和装置
WO2014199338A2 (en) * 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera
CN105828067A (zh) * 2016-04-19 2016-08-03 奇酷互联网络科技（深圳）有限公司 双摄像头被遮挡的确定方法、确定装置和终端
CN107770433B (zh) * 2016-08-15 2020-08-04 广州立景创新科技有限公司 影像获取装置及其影像平顺缩放方法
US10972672B2 (en) * 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US10803984B2 (en) * 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US10645358B2 (en) * 2018-02-20 2020-05-05 Gopro, Inc. Saturation management for luminance gains in image processing
WO2019167571A1 (ja) * 2018-02-27 2019-09-06 ソニーセミコンダクタソリューションズ株式会社 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479092A (zh) * 2016-07-22 2019-03-15 索尼公司 图像处理设备和图像处理方法
CN106385541A (zh) * 2016-09-30 2017-02-08 虹软(杭州)科技有限公司 利用广角摄像组件及长焦摄像组件实现变焦的方法
CN107087107A (zh) * 2017-05-05 2017-08-22 中国科学院计算技术研究所 基于双摄像头的图像处理装置及方法

Also Published As

Publication number Publication date
JP7412545B2 (ja) 2024-01-12
KR102649993B1 (ko) 2024-03-20
JP2022550191A (ja) 2022-11-30
KR20220073824A (ko) 2022-06-03
WO2021063245A1 (zh) 2021-04-08
CN112584034A (zh) 2021-03-30
US20220343520A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
CN112584034B (zh) 图像处理方法、图像处理装置及应用其的电子设备
CN110622497B (zh) 具备具有不同焦距的相机的设备及实现相机的方法
CN109961406B (zh) 一种图像处理的方法、装置及终端设备
CN111510618B (zh) 变焦方法及应用其的电子设备
US9591237B2 (en) Automated generation of panning shots
US8229172B2 (en) Algorithms for estimating precise and relative object distances in a scene
CN112930677B (zh) 用于在第一镜头和第二镜头之间切换的方法和电子设备
KR20150097987A (ko) 이미지를 처리하기 위한 전자 장치 및 방법
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
CN114022662A (zh) 图像识别方法、装置、设备及介质
Bokov et al. Automatic detection of artifacts in converted S3D video
CN111340722B (zh) 图像处理方法、处理装置、终端设备及可读存储介质
CN106878598B (zh) 处理方法及电子设备
Lee et al. Fast-rolling shutter compensation based on piecewise quadratic approximation of a camera trajectory
CN108780572A (zh) 图像校正的方法及装置
CN111915521A (zh) 拼接图像校正方法及装置
CN114095644B (zh) 一种图像校正的方法和计算机设备
CN111754411A (zh) 图像降噪方法、图像降噪装置及终端设备
CN113766090B (zh) 一种图像处理方法、终端以及存储介质
CN110310251B (zh) 图像处理方法和装置
CN114143442B (zh) 图像虚化方法、计算机设备、计算机可读存储介质
Jovanov et al. Multiview image sequence enhancement
Sato et al. Multi-frame interpolation of Bayer images using optical flow
US9378539B1 (en) Image processing method and mobile electronic device
CN116405791A (zh) 图像虚化处理方法及装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310052 19th Floor, No. 392, Binxing Road, Changhe Street, Binjiang District, Hangzhou City, Zhejiang Province (Hongsoft Building)

Applicant after: Rainbow Software Co.,Ltd.

Address before: 310012 22nd and 23rd Floors of Building A, Paradise Software Park, No. 3 Xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: Rainbow Software Co.,Ltd.

GR01 Patent grant
GR01 Patent grant