CN118102067A - 用于操作图像记录系统的方法、图像记录系统和计算机程序产品 - Google Patents
用于操作图像记录系统的方法、图像记录系统和计算机程序产品 Download PDFInfo
- Publication number
- CN118102067A CN118102067A CN202311594792.5A CN202311594792A CN118102067A CN 118102067 A CN118102067 A CN 118102067A CN 202311594792 A CN202311594792 A CN 202311594792A CN 118102067 A CN118102067 A CN 118102067A
- Authority
- CN
- China
- Prior art keywords
- image
- optical unit
- recording
- halo
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004590 computer program Methods 0.000 title claims description 6
- 230000003287 optical effect Effects 0.000 claims abstract description 113
- 125000001475 halogen functional group Chemical group 0.000 claims abstract description 74
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 2
- 238000000576 coating method Methods 0.000 description 7
- 239000011248 coating agent Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种用于操作移动终端(1)的方法,该移动终端包括图像记录装置(4)。根据该方法,捕捉场景的至少一个记录(30),并且检查可选地这几个记录(30)中的至少一个是否存在光源。随后,确定光源相对于光学中心(Z)的位置(P),并且确定光源的形状(S)、强度(I)、和/或颜色(F)。使用结合给定光学单元的成像特性训练的算法针对此光源和使用该光源的位置(P)的给定光学单元生成透镜光晕(42)的光晕图像(40)。随后将光晕图像(40)与记录(30)组合以形成组合图像(44),并且将组合图像(44)存储在存储器部件(20)内。
Description
本发明涉及一种用于操作图像记录系统的方法,该图像记录系统带有移动终端,该移动终端包括图像记录装置。本发明还涉及一种图像记录系统,该图像记录系统包括特别地被配置为执行前述方法的移动终端。此外,本发明涉及一种计算机程序产品。
图像记录装置通常形成摄影和/或电影摄影系统,通常称为相机,用于捕捉单独的图像或视频帧序列。这样的系统通常包括成像传感器和分配的光学单元(通常称为透镜)。光学单元一般包括由多个光学透镜元件形成的透镜元件系统——即,用于对在可见光谱范围内(即,特别是在380纳米到780纳米波长之间)的光进行成像的透镜元件。然而,原则上,反射镜光学单元或者反射镜和透镜元件的组合也是可能的并且是已知的。图像传感器用于将通过光学单元成像在图像传感器上的图像光电转换成电信号。
设计和生产(相机)光学单元(也就是说,透镜及其透镜元件系统)的目的始终是产生成像像差尽可能少的图像表示。在本文中,成像像差尤其包括纵向和横向色差,其尤其在记录中导致不期望的颜色条纹、球面像差、导致直线的桶型或枕型畸变的所谓畸变等。然而,横穿光线方向的透镜元件面处的反射也会导致成像像差,这些成像像差尤其被称为“透镜光晕”或“重影”。这种透镜光晕通常是由比较强的光源引起的,并且经常感到令人烦恼,因为这种透镜光晕一般伴随着信息的丢失(特别是因覆盖要显示的场景元素)。另一个目的是确保整个光学单元(也就是说特别是透镜元件系统)的透射率尽可能高,以便使图像表示中的光损失保持尽可能低。因此,所谓的相关透镜的“光强度”同样保持较高,使得即使曝光比较差或在低照度值的光条件下(例如在夜间,在没有额外照明的空间中等)也可以进行记录。
为了获得尽可能高的透射率值,但也为了减少前述透镜光晕,因此,在光学面(特别是在透镜元件的边界处)处反射的光的比例必需保持较低。为此,在现代透镜中,透镜元件配备有“光学涂层”,特别是减少反射的涂层。在透镜元件面特别地形成玻璃与空气的界面的情况下,通常使用具有多个具有相应不同折射率的不同材料层的涂层。这抑制或至少很大程度上减少了所述面处的反射,结果是最高可能比例的入射光实际上被透射(特别是一路到达相关相机的图像传感器)。
那么同样,有时用户也感兴趣在记录中包括可见反射,尤其是对于艺术图像,例如为了更好地传达情绪、能够指示刺眼的光等。这是与光强度相冲突的方面,因为即使在那种情况下,透射率也应该尽可能高。
在常规相机系统中,这可以通过使用不同的透镜进行记录来解决,例如通过使用经过较少表面处理的透镜用于明确需要透镜光晕的记录。然而,移动终端,特别是智能手机,越来越多地进入市场,并在摄影领域发生不断的改进,无论是通过改进的光学单元和/或通过像素密度不断增加的图像传感器。然而,由于本领域中所需的紧凑性,从技术角度来看,不期望和/或不提供可互换的光学单元。因此,在这种情况下使用的光学单元通常被配置为抑制一般不利的影响。
本发明基于的目的是即使使用移动终端也能够形成具有艺术吸引力的记录。
根据本发明,此目的是通过具有权利要求1的特征的方法来实现的。根据本发明,此目的也是通过具有权利要求14的特征的图像记录系统来实现的。根据本发明,此目的此外是通过具有权利要求15的特征的计算机程序产品来实现的。在从属权利要求和以下描述中呈现了本发明的有利实施例和发展(其自身具有一定的创造性)。
根据本发明的方法用于操作包括移动终端(例如智能手机)的图像记录系统,该移动终端又包括图像记录装置。在这种情况下,图像记录装置优选地至少包括图像传感器和分配给该图像传感器的光学单元。在根据本发明的方法的范围内,首先捕捉场景的至少一个记录(特别是通过图像记录装置)。随后检查此记录或可选地多个记录中的至少一个是否存在光源。而且,如果存在光源,则确定光源相对于光学中心的位置。进一步地,确定(光源的)形状、光源的强度和/或颜色。而且,使用光源的位置,针对此光源,使用结合给定光学单元的成像特性训练的算法(因此形成“人工智能”、“AI”的算法或特别是“机器学习算法”)生成透镜光晕的(特别是人造)光晕图像(也称为“重影”)。此光晕图像与记录组合(特别地随后组合)以形成组合图像,并且组合图像存储在存储器部件中(可选地此外也显示在显示设备上,特别是移动终端的显示设备上)。
这里和下文中,术语“光学中心”被理解为特别是指记录的中心或光学单元的光(中心)轴。然而,这两个特征优选地有效地重合,也就是说,光轴入射到图像传感器上位于记录的中心处。在这种情况下,光源的位置优选地间接或直接地至少再现光源(平行于图像传感器的表面)距光学中心的距离。优选地,在旋转对称光学单元的情况下,该位置由相对于光学中心的半径和分配的角度来指定。在非旋转对称光学单元的情况下,例如因为至少一个光学元件(例如,透镜元件、反射镜等)具有自由曲面和/或变形设计,所以位置相比之下由特别是用笛卡尔坐标描述。
简单地说,本发明因此遵循通过人工智能(即,前述训练算法)形成光晕图像的方法。这是有利的,因为结果可以比较节省时间地形成光晕图像。因此可以避免通过本身已知的“光线追踪”方法对光晕图像进行通常复杂且耗时的模拟。这是基于这样的事实,即这种训练后的算法本身并不针对具体解决方案的计算,而是针对寻找从所学的丰富经验中已知的解决方案或者可以从中比较容易地导出的解决方案。这又允许几乎实时或至少短延迟(例如,在不到30秒内)地形成包含一个或多个透镜光晕的图像,这又取决于移动终端的计算能力,但仍然对于本身被配置为避免这种影响的光学单元来说,比通过光线追踪进行的常规计算的情况要快得多。
因此,该操作方法特别用于图像处理。
为了将光晕图像与记录组合,光晕图像优选地放在记录上,例如添加到记录上,或与记录融合,例如通过所谓的多尺度融合而融合。
在可选的方法变型中,针对每个单独的光源形成具有分配的透镜光晕的单独光晕图像,并且根据此处和下文中描述的过程与记录组合。替代地,多个光源的对应透镜光晕被生成或组合在仅一个光晕图像中。
在特别有利的方法变型中,将光晕图像相对于记录定向,然后与记录组合。特别地,为此目的,旋转光晕图像,使得光晕图像(详细地,特定的透镜光晕)与记录中的此透镜光晕的理论位置精确地对齐。这在旋转对称光学单元的情况下是尤其有利的,因为为了确定透镜光晕(特别是其形状或性质),仅其距光学中心(一般对应于光学单元的旋转中心)的距离在这种情况下就足够了。因此,此处描述并且用于确定透镜光晕的分配的光晕图像的后续旋转在确定透镜光晕的范围内能够节省计算时间。然而,原则上,也可以基于相对于该中心的距离(半径)和角度或基于笛卡尔坐标来确定“最终”光晕图像(朝光源的位置定向)。
在另一有利的方法变型中,在与记录组合之前,将光晕图像与光源的(特别是确定的)形状(可选地还与包含其形状的强度图像)进行卷积。这对于特别是使用点状光源作为起点来形成光晕图像中的透镜光晕的效果是有利的。作为卷积的结果,透镜光晕于是可以“适应”光源的范围和形状(特别是以像素指定),优选地被提供相应的模糊(“不清晰”)。因此,使得比较真实的组合图像成为可能。因此,在太阳的情况下,光晕图像将与圆盘形卷积,在电视机的情况下,光晕图像将与矩形卷积。可选地,在这种情况下也可以使用光源的强度分布(通过其形状),尤其是以颜色解析的方式,用于与光晕图像的卷积。然而,由于在这种情况下光源的图像(特别是其前述的强度图像)已经具有足够高的相似性,因此也可以省去此措施,使得尽管如此也可以获得从主观角度看在质量上足够的高质量结果,同时节省计算时间(和/或计算能力)。
为了使透镜光晕适应光源的颜色,根据特别是有利的方法变型,在上述卷积的范围内应用至少一个滤色器,滤色器包含光源的颜色、以及特别是还包含光源的强度。换句话说,这样的滤色器集成到卷积中。透镜光晕的颜色取决于光源的光谱(特别地还取决于光学单元的抗反射涂层和/或材料)并且因此可以用针对光源确定的颜色来加权。有利地,这使透镜光晕的显示尽可能真实。为此,特别是在透镜光晕与光源的强度图像的卷积的范围内,以加权方式考虑光源的记录的相应颜色通道的强度值。例如,在卷积范围内为此使用所谓的滤波核,该滤波核根据颜色通道的强度值进行加权。
为了提供最大可能的灵活性——尤其是还从艺术的角度来看——在可选的方法变型中与用于要与光晕图像组合的记录的光学单元不同(即,特别是不同于图像记录装置的对应光学单元)的光学单元用作给定光学单元。例如,在特点方面源自电影透镜或其他透镜(例如,专业透镜)的透镜光晕例如可以“放”在移动终端(例如,智能手机或平板电脑)捕捉的记录上。因此,来自比较简单的终端的记录因此可以被提供看似专业的效果,在这种情况下是透镜光晕。
举例来说,用于产生透镜光晕的光学单元可以被固定地指定为例如前述电影光学单元。然而,有利地向图像记录系统的用户、特别是移动终端的用户提供(对应地在产生透镜光晕之前)应为其产生相应的透镜光晕的(多个)不同光学单元的选择。然后用户从中选择期望的光学单元作为给定光学单元。例如,此选择还包括(尤其是除了上述电影光学单元之外;可选地还有其他专业光学单元)实际使用的光学单元,也就是说用于要与光晕图像组合的记录的光学单元。因此,在此变型中,用户可以具体指定应为其产生透镜光晕的光学单元。
此处和下文中,“电影”或“专业”光学单元或透镜应理解为特别是指由于其光学特性、透镜涂层和/或制造公差低而通常仅在电影摄影或专业摄影中使用的那些光学单元(尤其是因为一般消费者通常无法获得这些,或者在无利润价格区间内无法获得)。
在有利的方法变型中,在光晕图像与记录组合之前或之后,根据给定光学单元的或图像记录装置的光学单元的透射曲线来修正记录和/或组合图像的颜色通道。对于与用于要与光晕图像组合以产生透镜光晕的记录的光学单元不同的光学单元用作给定光学单元的情况,记录有利地适应给定光学单元的透射曲线,以便适应从不同光学单元出射的可能不同的色谱。例如,在前述电影透镜应用作给定光学单元的情况下,例如使用智能手机形成的记录可以因此适应电影透镜的透射曲线,结果是记录与添加的透镜光晕的整体印象就其光谱而言“适合”。然而,也可以基于“自己的”光学单元的透射曲线来初始修正“原始”记录,以便减少可能已经发生的图像错误。
在优选的方法变型中,通过对对应的记录进行分割来确定光源的位置、形状、强度或颜色。优选地,还通过分割法来检查(或:分析)光源本身的存在。
在特别有利的方法变型中,基于与要与光晕图像组合的记录不同的记录“概观记录”、特别是通过具有对应分配的附加光学单元的附加图像传感器捕捉的记录来确定至少光源的强度(特别是绝对强度)、但可选地还有光源的位置、形状和/或颜色,所述概观记录相比要组合的记录具有更大的动态范围。换句话说,(尤其是并行地)形成至少两个记录,其中,两个记录之一包含实际图像信息,而另一个记录用作关于光源的信息的来源。对于后一种记录(即,概观记录),特别地使用尽可能小的ISO编号和/或短的曝光时间,以便获得捕捉光源的强度所需的、尽可能完整的动态范围。这是因为在常规记录设置(过度驱动或过度曝光单独图片元素或像素,也就是说实际强度超过像素可检测的强度)的情况下经常出现所谓的剪切。可选地,中性密度滤波器(或相当的透射阻尼滤波片)也可以为此用于附加光学单元。该过程在智能手机形成移动终端的情况下是有利的,因为现代的智能手机常常具有多个“相机”,不同光学单元(例如广角、长焦等)并行操作。优选地,有利地针对对应的ISO编号配置的广角光学单元和图像传感器用于概观记录。尤其是在智能手机的情况下,这样的相机还有利地被布置得彼此如此靠近,以致于相应的光轴彼此之间的偏移可以忽略不计。
优选地,光学单元(特别地还有分配的图像传感器)用于概观记录,该光学单元相对于用于要与光晕图像组合的记录的光学单元(特别地分配的图像传感器)具有更大的视场,也就是说更大的FOV。例如,在智能手机的情况下,这特别地通过使用具有如上所述的广角光学单元的相机来实现。这有利地此外还使得可以检测位于“实际”记录(即,要与光晕图像组合的记录)外部(即,在所述记录的视场之外)(但是在附加光学单元的FOV内)的光源并使用这些光源生成适当的透镜光晕。
在可选的方法变型中,通过单独的设备(例如与移动终端分开的相机)来形成此概观记录。在这种情况下,此相机因此特别地包括附加光学单元和附加图像传感器。因此,在这种情况下,除了移动终端之外,图像记录系统有利地还包括此单独的相机。有利地,单独的相机与移动终端数据连接,特别是为了能够将概观记录传输到移动终端,可选地还为了能够从移动终端控制概观记录的拍摄。
然而,在替代方法变型中,如果图像传感器被配置为捕捉HDR(“高动态范围”)记录,则替代地也可以仅使用具有分配的光学单元的单个图像传感器。
进一步替代地,尽管与更大的支出关联,但是也可以从记录(可能受到剪切)中借助于结合点扩散函数的形状评估过度曝光的光源周围的光晕并借助于也评估根据分割法确定光源的形状来至少近似地估计光源的强度。举例来说,为此使用被称为“逆色调映射”的方法。
为了实现尽可能真实的透镜光晕的设置,其强度基于针对(对应分配的)光源确定的强度、可选地绝对强度被方便地按比例调整,优选地适应于此强度。特别地,“绝对强度”应理解为是指图像传感器检测到的光子的数量(尤其是在所谓的光子计数图像传感器的情况下)。
在优选的方法变型中,特别地,基于用于给定光学单元的光线追踪或类似模型或基于通过给定光学单元进行的实时测量和/或图像记录而训练的算法用作训练后的算法。可选地针对多个光学单元训练算法,使得特定光学单元的上述用户特定选择例如改变在算法范围内考虑的参数集。替代地,根据上面给出的解释训练的特定算法用于可供选择的每个光学单元,所述算法在用户对应选择透镜的情况下被“激活”。
优选地,该算法(或者在多个算法的情况下可选地每个算法)使用卷积神经网络(简称CNN)。替代地,使用非线性回归算法、字典学习算法等。
根据本发明的图像记录系统包括上述移动终端,如上所述,该移动终端又包括图像记录装置。图像记录装置又包括至少一个图像传感器和对应分配的用于捕捉场景的前述记录的光学单元。该终端进一步包括处理器,该处理器被配置为尤其以自动化方式执行上述方法。
因此,图像记录系统、特别是移动终端——优选地智能手机——同样具有上述物理特征,而且还具有方法特征。因此,该方法和终端也共享由方法步骤和物理特征产生的优点。
优选地,处理器至少本质上是具有分配的存储器的微处理器,在该微处理器中以可执行的方式实现用于执行上述方法的(特别地由程序代码形成的)软件应用程序。因此,该方法由微处理器在执行该软件应用程序时执行。在这种情况下,进一步有利的是,现代智能手机处理器通常已经被配置用于实施人工智能领域的算法。
可选地,图像记录系统特别地由移动终端自己形成。然而,对于用于概观记录的单独相机的上述情况,图像记录系统此外还可以包括此单独相机。
而且,本发明涉及一种计算机程序产品(又称为“软件程序”或“应用程序”,简称为“App”),该计算机程序产品具有(包含)命令,当该计算机程序产品在图像记录系统的处理器上、特别是在终端的(前述)处理器上执行时,这些命令提示该处理器实施上述方法。
特别地,连词“和/或”应在此处和下文中理解为是指通过此连词关联的特征既可以同时共同形成以及也可以作为彼此的替代品形成。
下面将基于附图更详细讨论本发明的示例性实施例。
图1示出了移动终端的背面的示意性平面图,
图2示出了移动终端的操作方法的执行的示意图,以及
图3以示意性流程图示出了操作方法的步骤。
在所有图中,彼此对应的部分和尺寸由相同的附图标记表示。
图1示意性地图示了包括移动终端、具体是智能手机1的图像记录系统、及其背面的视图。除了比如壳体2和此处未描绘的正面上的电子视觉显示器的一般部件之外,智能手机1还包括至少一个图像记录装置4。在当前考虑的示例性实施例中,此图像记录装置由三个单独的相机形成,具体地是主相机6、广角相机8和长焦相机10。这些相机中的每一个分别包括未详细描绘的图像传感器和光学单元(透镜)12、14和16,该光学单元能够与相应的图像传感器结合实现对应的功能(例如,广角记录)。智能手机1还包括处理器18。软件程序以可执行的方式安装在分配给处理器18的存储器20上,并且在操作期间所述软件程序的执行使得处理器18执行下面更详细描述的操作方法。
智能手机1的光学单元12、14和16已经设置有涂层,也就是说设置有抗反射涂层,使得相应透镜元件表面处的反射被抑制或至少减少,以便保持每个光学单元12、14和16处的透射率尽可能高。这抑制了又被称为重影的透镜光晕等,或者将透镜光晕减少到可忽略的量,因为这些透镜光晕在许多图像记录中被感到令人烦恼。然而,这样的透镜光晕是令人期望的,尤其是在艺术图像记录中,以便能够突出或强调某些图片元素。例如,常规相机无法拍摄自然动态范围;明亮的光源导致各个传感器像素曝光过度,并且由于剪切而导致其动态范围方面的减小。为了艺术地突出光源的亮度,经常使用前述透镜光晕的效果,因为这些透镜光晕可以显示出一种令人眼花缭乱的效果。为此,例如,可以在常规单透镜反光相机的情况下使用没有或仅仅有很少的光学涂层的不同透镜。然而,这在像所示的智能手机一样的智能手机的情况下是不可能的。为此,智能手机1通过软件程序被配置为人工生成用于图像记录的透镜光晕。
为此,根据第一方法步骤S1(见图3)由主相机6捕捉(主)记录30。在本示例性实施例中,与记录30场景相同并且图像尺寸相同但ISO编号可能最小的概观记录(这里未示出)至少也同时通过其他相机中的一个(在这种情况下是广角相机8)被捕捉,以便能够将最大可能的动态范围成像。
根据第二方法步骤S2,通过分割法从概观记录中检测光源的、具体是记录30中的提灯34中的发光体32的位置P。此位置P由距光学中心Z(在这种情况下是记录30或概观记录的中心)的距离A和相对于水平方向H的角度W来描述。这适用于此处使用的旋转对称光学单元12和14。而且,在第二方法步骤S2中还通过分割法确定发光体32的光的强度I、形状S和颜色F。
基于发光体32的位置P,在第三方法步骤S3中形成针对此光源的具有透镜光晕42的光晕图像40。为此,利用基于给定光学单元的成像特性训练的算法,具体是本示例性实施例中的CNN算法。在这种情况下,算法通过此给定光学单元(或至少结构上相同的光学单元)的实像记录和/或通过经光线追踪方法确定的特性来学习给定光学单元的成像特性。在本示例性实施例中,例如,使用电影光学单元作为给定光学单元。然而,替代地,主相机6的光学单元12也可以用作给定光学单元——例如,通过软件程序的菜单以用户特定可具体选择的方式。在选择不同光学单元的选项的情况下,适当训练的算法在每种情况下被存储并且在对应的选择的情况下被激活。在形成光晕图像40之后,光晕图像基于角度W旋转,结果是透镜光晕42的纵向轴线对应于光源相对于中心Z的取向。
在第四方法步骤S4中,将光晕图像40与光源的形状S进行卷积。因此,透镜光晕42适应光源的范围和形状S,这尤其表现在透镜光晕42的清晰度的一定程度的降低。然而,在此卷积的范围内,滤色器也应用到透镜光晕42,以便将透镜光晕42的颜色与光源的光谱匹配。
在随后的第五方法步骤S5中,如此处理的光晕图像40与记录30组合以形成组合图像44。为此,光晕图像40例如在记录之前被放到分配的图像平面中或者被添加到记录30中。组合图像44随后存储在存储器20中并显示在智能手机1的电子视觉显示器上。
可选地,在组合从而形成组合图像44之前,记录30的颜色通道仍然适应给定光学单元的透射曲线,使得透镜光晕42不会像主观上意想不到的那样由于其着色而在组合图像44中突出。
本发明的主题不限于上述示例性实施例。相反,本领域技术人员可以从上文的描述中得出本发明的另外的实施例。
上述过程的优点尤其在于以下事实:如果已知光源的位置,则用于描述透镜光晕的其余参数(特别是光源的颜色、形状等)是可以比较容易地描述或确定的。因此,光源的位置对于使用AI形成光晕图像而言足够了。所有另外的操作(旋转、卷积等)都比较简单。
附图标记清单
1 智能手机
2 壳体
4 图像记录装置
6 主相机
8 广角相机
10 长焦相机
12 光学单元
14 光学单元
16 光学单元
18 处理器
20 存储器
30 主记录
32 发光体
34 提灯
40 光晕图像
42 透镜光晕
44 组合图像
S1、S2 方法步骤
P 位置
A 距离
Z 中心
W 角度
H 水平方向
I 强度
S 形状
F 颜色
S3、S4、S5 方法步骤
Claims (15)
1.一种用于操作图像记录系统的方法,该图像记录系统包括带有图像记录装置(4)的移动终端(1),其中,根据该方法,
-捕捉场景的至少一份记录(30),
-检查可选地这几个记录(30)中的至少一个是否存在光源,
-确定该光源相对于光学中心(Z)的位置(P),
-确定该光源的形状(S)、强度(I)、和/或颜色(F),
-使用结合给定光学单元的成像特性训练的算法针对此光源和使用该光源的位置(P)的该给定光学单元生成透镜光晕(42)的光晕图像(40),以及
-将该光晕图像(40)与该记录(30)组合以形成组合图像(44),并且将该组合图像(44)存储在存储器部件(20)内。
2.根据权利要求1所述的方法,
其中,该光晕图像(40)相对于该记录(30)被定向,然后与该记录(30)组合,特别地其中,将该光晕图像(40)旋转,使得该光晕图像(40)与该记录(30)中的该透镜光晕(42)的理论位置对齐。
3.根据权利要求1或2所述的方法,
其中,将该光晕图像(40)与该光源的形状卷积,然后与该记录(30)组合。
4.根据权利要求3所述的方法,
其中,在该卷积的范围内应用包含该光源的颜色(F)和强度(I)的至少一个滤色器。
5.根据权利要求1至4中任一项所述的方法,
其中,与用于该记录(30)的该图像记录装置(4)的光学单元(12,14,16)不同的光学单元用作该给定光学单元,该记录要与该光晕图像(40)组合。
6.根据权利要求5所述的方法,
其中,为了选择该给定光学单元,向该图像记录系统的用户提供多个不同的光学单元。
7.根据权利要求1至6中任一项所述的方法,
其中,该记录(30)或该组合图像(44)的颜色通道根据该给定光学单元和/或该图像记录装置(4)的光学单元(12,14,16)的透射曲线被修正。
8.根据权利要求1至7中任一项所述的方法,
其中,通过分割法确定该光源的位置(P)、形状(S)、强度(I)、和/或颜色(F)。
9.根据权利要求1至8中任一项所述的方法,
其中,基于与要与该光晕图像(40)组合的该记录(30)不同并且相比要组合的该记录(30)具有更大的动态范围的记录来至少确定该光源的强度(I)、但特别地还有该光源的位置(P)、形状(S)和/或颜色(F)。
10.根据权利要求9所述的方法,
其中,通过附加图像传感器和附加光学单元(12,14,16)形成具有该更大动态范围的该记录,该附加图像传感器和该附加光学单元与用于要与该光晕图像(40)组合的该记录(30)的图像传感器和光学单元(12,14,16)分开,其中,该附加光学单元(12,14,16)相对于该光学单元优选地具有更大的视场。
11.根据权利要求1至10中任一项所述的方法,
其中,基于该光源的强度(I)、特别地绝对强度按比例调整该光晕图像(40)的光晕强度。
12.根据权利要求1至11中任一项所述的方法,
其中,基于用于该给定光学单元的光线追踪模型或基于该给定光学单元进行的实时测量和/或图像记录而训练的算法用作训练后的算法。
13.根据权利要求1至12中任一项所述的方法,
其中,卷积神经网络、非线性回归算法、字典学习算法等用作训练后的算法。
14.一种图像记录系统,包括带有图像记录装置(4)的移动终端(1),其中,该图像记录装置(4)至少包括用于捕捉场景的记录的图像传感器和分配的光学单元(12,14,16),并且其中,该移动终端(1)包括被配置为执行根据权利要求1至13中任一项所述的方法的处理器(18)。
15.一种计算机程序产品,包括命令,当该计算机程序产品在图像记录系统的处理器(18)上、特别地在终端(1)的(前述)处理器(18)上被执行时,这些指令引起该终端实施根据权利要求1至13中任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022212679.3 | 2022-11-28 | ||
DE102022212679.3A DE102022212679A1 (de) | 2022-11-28 | 2022-11-28 | Verfahren zum Betrieb eines Bildaufnahmesystems; Bildaufnahmesystem; Computerprogrammprodukt |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118102067A true CN118102067A (zh) | 2024-05-28 |
Family
ID=91026679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311594792.5A Pending CN118102067A (zh) | 2022-11-28 | 2023-11-27 | 用于操作图像记录系统的方法、图像记录系统和计算机程序产品 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240177346A1 (zh) |
CN (1) | CN118102067A (zh) |
DE (1) | DE102022212679A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296621B (zh) | 2015-05-22 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像处理方法和装置 |
KR102574649B1 (ko) | 2018-11-29 | 2023-09-06 | 삼성전자주식회사 | 이미지 처리 방법 및 이를 지원하는 전자 장치 |
US20220375045A1 (en) | 2020-09-28 | 2022-11-24 | Google Llc | Learning-Based Lens Flare Removal |
CN114758054A (zh) | 2022-02-23 | 2022-07-15 | 维沃移动通信有限公司 | 光斑添加方法、装置、设备及存储介质 |
-
2022
- 2022-11-28 DE DE102022212679.3A patent/DE102022212679A1/de active Pending
-
2023
- 2023-11-27 CN CN202311594792.5A patent/CN118102067A/zh active Pending
- 2023-11-28 US US18/521,321 patent/US20240177346A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240177346A1 (en) | 2024-05-30 |
DE102022212679A1 (de) | 2024-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7015374B2 (ja) | デュアルカメラを使用する画像処理のための方法および移動端末 | |
CN108933899B (zh) | 全景拍摄方法、装置、终端及计算机可读存储介质 | |
JP7145208B2 (ja) | デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体 | |
JP6263623B2 (ja) | 画像生成方法及びデュアルレンズ装置 | |
WO2020034737A1 (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
WO2020103503A1 (zh) | 夜景图像处理方法、装置、电子设备及存储介质 | |
EP3614661B1 (en) | Image processing method, image processing apparatus, electronic device and storage medium | |
CN106713755B (zh) | 全景图像的处理方法及装置 | |
CN109218627B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN107835372A (zh) | 基于双摄像头的成像方法、装置、移动终端和存储介质 | |
CN108712608B (zh) | 终端设备拍摄方法和装置 | |
US20190164256A1 (en) | Method and device for image processing | |
CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP6999802B2 (ja) | ダブルカメラベースの撮像のための方法および装置 | |
CN108307098B (zh) | 鱼眼相机阴影校正参数确定方法、校正方法及装置、鱼眼相机 | |
CN107846556B (zh) | 成像方法、装置、移动终端和存储介质 | |
WO2019056242A1 (zh) | 一种智能终端的相机拍摄参数设置方法、设置装置及智能终端 | |
CN115989678A (zh) | 用于广角成像的多相机系统 | |
CN106791451B (zh) | 一种智能终端的拍照方法 | |
CN106878606B (zh) | 一种基于电子设备的图像生成方法和电子设备 | |
CN118102067A (zh) | 用于操作图像记录系统的方法、图像记录系统和计算机程序产品 | |
TWI524279B (zh) | 影像擷取裝置及其暗角補償方法 | |
CN105208286A (zh) | 一种模拟慢速快门的拍摄方法及装置 | |
WO2020084894A1 (ja) | マルチカメラシステム、制御値算出方法及び制御装置 | |
CN113014811A (zh) | 图像处理装置及方法、设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |