CN115734078A - 电子装置以及操作其的方法 - Google Patents

Abstract

本申请公开了电子装置以及操作其的方法。根据本技术的电子装置可以包括：图像传感器，其包括分别与多个曝光值相对应的多个像素组；以及控制器，其配置为在基于多个像素组获得的多个标度图像之中选择具有最小曝光值的参考标度图像和具有与最小曝光值不同的曝光值的目标标度图像，以及输出利用指示参考标度图像和目标标度图像中共同包括的物体的位置变化的运动图获得的输出图像。

Description

电子装置以及操作其的方法

相关申请的交叉引用

本申请要求于2021年8月30日提交至韩国知识产权局的韩国申请第10-2021-0115123号的优先权，其全部内容通过引用并入本文。

技术领域

本公开涉及一种电子装置，并且更具体地，涉及一种包括图像传感器的电子装置以及操作该电子装置的方法。

背景技术

近来，随着计算机产业和通信产业的发展，诸如智能手机、数码相机、游戏设备、物联网、机器人、安全相机、医疗相机和自动驾驶车辆等各种电子装置中对图像传感器的需求不断增加。

尤其，最近正在研究用于将曝光时间不同的多个原始图像合成为一个图像的各种技术，以提高诸如动态范围(DR)的图像质量。然而，当对象或图像传感器本身移动时，每个原始图像中包括的对象的位置根据曝光时间而不同地出现。因此，存在如下问题，即，同一对象重复显示在一个合成图像中的不同位置或发生对象的移动过程被显示的所谓重影现象。需要一种解决这种重影现象的技术。

发明内容

根据本公开的实施例，一种电子装置可以包括：图像传感器，其包括分别对应于多个曝光值的多个像素组；以及控制器，其配置为在基于所述多个像素组获得的多个标度图像之中，选择具有最小曝光值的参考标度图像和具有与所述最小曝光值不同的曝光值的目标标度图像，并且输出利用指示所述参考标度图像和所述目标标度图像中共同包括的对象的位置变化的运动图获得的输出图像。

根据本公开的实施例，一种操作电子装置的方法可以包括：从在不同曝光时间期间感测像素值的多个像素组获得多个图像；获得通过利用所述多个图像中的每一个的曝光时间来校正所述多个图像而获得的多个标度图像；基于所述多个标度图像之中具有最小曝光时间的参考标度图像和具有与所述最小曝光时间不同的曝光时间的选择标度图像，生成指示对象的位置变化的运动图；以及输出通过利用所述运动图作为用于所述参考标度图像和所述选择标度图像的权重而合成的输出图像。

附图说明

图1是示出根据本公开实施例的电子装置的图。

图2A是示出根据本公开实施例的图像传感器的图。

图2B是示出根据本公开实施例的控制器的图。

图2C是示出根据本公开实施例的定标器、预处理器和运动图生成器的详细配置的图。

图3是示出根据本公开实施例的操作电子装置的方法的图。

图4A至图4D是示出根据本公开实施例的图像的图。

图5A和图5B是示出根据本公开实施例的标度图像的图。

图6A是示出根据本公开实施例的转换为灰度的标度图像的图。

图6B是示出根据本公开实施例的块的图。

图7A至图7C是示出根据本公开实施例的运动图的图。

图8A至图8C是示出根据本公开实施例的输出图像的图。

图9是示出根据本公开实施例的电子装置的实现示例的图。

具体实施方式

根据在本说明书或申请中公开的构思的实施例的具体结构或功能描述仅用于描述根据本公开的构思的实施例。根据本公开的构思的实施例可以以各种形式实现，并且不应被解释为限于在本说明书或申请中描述的实施例。

本公开的实施例提供了一种电子装置及其操作方法，用于输出具有改善的图像质量的图像，同时防止发生根据对象的运动的重影现象。

本技术可以提供一种电子装置及其操作方法，用于输出具有改善的图像质量的图像，同时防止发生重影现象。根据本技术，可以最小化通过合成曝光时间不同的图像而获得的图像中发生重影现象。

图1为示出根据本公开实施例的电子装置的图。

参见图1，根据实施例的电子装置100可以获得图像。此外，电子装置100可以将通过处理图像获得的输出图像存储、显示或输出至外部设备。根据实施例，电子装置100可以根据主机200的请求将输出图像输出至主机200。

在一个实施例中，电子装置100可以以封装模块、部件等的形式实现。在这种情况下，电子装置100可以安装在主机200上。主机200可以实现为各种电子装置。例如，主机200可以实现为数码相机、移动设备、智能电话、个人计算机(PC)、平板PC、便捷式计算机、个人数字助理(PDA)、企业数字助理(EDA)、便携式多媒体播放器(PMP)、可穿戴设备、黑匣子、机器人、自动驾驶车辆等。

在另一个实施例中，电子装置100可以实现为与主机200分离的电子装置。例如，电子装置100可以是成像设备、数码相机、摄相机、闭路电视(CCTV)、网络摄像头、安保相机、工业视觉相机、移动设备、智能电话、个人计算机(PC)、平板PC、便捷式计算机、PDA、EDA、PMP、可穿戴设备、黑匣子、机器人、自动驾驶车辆、车载视觉相机、机顶盒、游戏终端、电子词典、电子书阅读器、台式计算机、服务器、MP3播放器、智能医疗设备、电视机、数字化视频光盘(DVD)播放器、音响、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、智能镜、智能窗、电子钥匙、电子相框、数字公告牌、安全控制面板等。这里，可穿戴设备可以是智能的手表、戒指、手镯、踝链、项链、眼镜、隐形眼镜、头戴式设备(HMD)、皮肤垫、纹身、生物移植型电路等。

电子装置100可以包括图像传感器110和控制器120。

图像传感器110可以获得原始图像。具体地，当从主机200或控制器120接收到请求获得图像的命令时，图像传感器110可以获得原始图像。为此，图像传感器110可以实现为电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器等。此外，图像传感器110可以将原始图像发送至控制器120。

图像传感器110可以包括多个像素。多个像素可以布置为矩阵形式。可以根据曝光值将多个像素分组成多个像素组。也就是说，图像传感器110可以包括多个像素组。多个像素组可以分别对应于多个曝光值。也就是说，多个像素组可以具有不同的曝光值。这里，曝光值可以表示像素感测像素值的曝光时间。例如，第一像素组可以包括多个像素之中具有第一曝光值的像素。第二像素组可以包括多个像素之中具有第二曝光值的像素。

图像传感器110可以通过多个像素来获得像素数据。像素数据可以包括像素的位置、颜色和曝光值中的至少一种。

像素的位置可以表示多个像素之中相应像素所布置的位置。可以根据像素的位置来区分多个像素。可以通过指示像素位置的地址来选择相应位置的像素。

像素的颜色可以表示对于相应像素的光的颜色。例如，多个像素中的每一个的颜色可以是红色、蓝色和绿色中的一种。

曝光值可以表示曝光时间。曝光时间可以表示像素被暴露于光的时间段，或像素感测光以获得像素值的时间段。通常，当曝光时间减少时，由于曝光时间期间的入射光的量减少，所以像素值可能减小，而当曝光时间增加时，由于曝光时间期间的入射光的量增加，所以像素值可能增加。根据实施例，可以针对每个像素设置单独的曝光值。在这种情况下，每个像素的像素值可以是在与针对每个像素设置的曝光值相对应的曝光时间期间获得的值。

控制器120可以控制电子装置100的整体操作。例如，控制器120可以控制图像传感器110执行调整曝光时间或获得图像的操作。

在一个实施例中，控制器120可以基于图像传感器110中包括的多个像素组来获得多个标度图像。例如，控制器120可以基于通过图像传感器110中包括的第一像素组获得的像素值来生成第一标度图像，并且基于通过图像传感器110中包括的第二像素组获得的像素值来生成第二标度图像。这里，第一像素组可以对应于第一曝光值，且第二像素组可以对应于第二曝光值。例如，第一像素组可以包括图像传感器110中包括的多个像素之中设置有第一曝光值的像素。第二像素组可以包括图像传感器110中包括的多个像素之中设置有第二曝光值的像素。这里，第一曝光值和第二曝光值可以具有不同的值。例如，第二曝光值可以大于第一曝光值。

具体地，控制器120可以从图像传感器110获得原始图像。原始图像可以包括通过多个像素获得的多个像素值。控制器120可以从一个原始图像获得多个图像。多个图像中的每一个可以是具有不同曝光值的图像。例如，第一图像可以包括在由第一曝光值指示的第一曝光时间期间获得的像素值。第二图像可以包括在由第二曝光值指示的第二曝光时间期间获得的像素值。这里，假设第二曝光值大于第一曝光值，则第二曝光时间可以包括第一曝光时间。也就是说，第一曝光时间可以与第二曝光时间的一部分重叠。

此外，控制器120可以获得通过利用多个图像中的每一个的曝光值或曝光时间来校正多个图像而获得的多个标度图像。

在一个实施例中，控制器120可以基于与第一标度图像相对应的第一块组之中指示对象的第一块的位置和与第二标度图像相对应的第二块组之中指示图像的第二块的位置来生成运动图。这里，第一块组中的每个块可以对应于第一标度图像的一个区域，且第二块组中的每个块可以对应于第二标度图像的一个区域。运动图可以表示对象的运动或对象的位置变化。运动图可以包括多个运动值。运动值可以对应于像素值。例如，运动值和像素值可以根据位置具有相互对应的关系。

为此，控制器120可以在第一标度图像和第二标度图像之中选择具有最小的曝光值(最小曝光值)的标度图像作为参考标度图像，并且可以选择具有不同曝光值的标度图像作为目标标度图像。这里，目标标度图像可以称为选择标度图像。

此外，上述实施例仅仅是一个实施例，标度图像的数量可以是三个或更多个。在这种情况下，控制器120可以基于多个标度图像之中具有最小的曝光值(即，最小曝光值)的参考标度图像和具有选定曝光值的标度图像，生成指示对象的运动的运动图。

在一个实施例中，控制器120可以利用运动图来输出输出图像。在一个实施例中，控制器120可以通过利用运动图作为用于第一标度图像和第二标度图像的权重来输出根据权重运算生成的输出图像。另外，这仅仅是一个实施例，标度图像的数量可以是三个或更多个。在这种情况下，控制器120可以通过利用运动图作为用于参考标度图像和具有选定曝光值的标度图像的权重，根据权重运算来生成输出图像。控制器120可以输出所生成的输出图像。

根据本公开，可以提供一种电子装置及其操作方法，其用于输出具有改善的图像质量的图像，同时防止发生根据对象的运动的重影现象。在下文中，将参照附图更具体地描述本公开。

图2A是示出根据本公开实施例的图像传感器的图。

参见图2A，图像传感器110可以包括：光学透镜LS、像素阵列111、行解码器112、定时发生器113、信号转换器(或信号变换器)114和输出缓冲器115。

光学透镜LS可以折射从对象反射的光。通过光学透镜LS折射的光可以行进到像素阵列111。也就是说，光学透镜LS可以将入射光折射到像素阵列111的每个像素。光学透镜LS可以是一个透镜，或者可以是排列在光的行进路径中的多个透镜的组件。此外，光学透镜LS可以包括微透镜组件。对象可以包括存在于图像传感器110外部的各种要素中的至少一种，诸如对象、动物、人和背景。

像素阵列111可以生成指示曝光的光的强度或量的电信号。

像素阵列111可以包括多个像素。多个像素可以在行方向和列方向上布置。像素阵列111中包括的多个像素可以对应于原始图像raw_IMG中包括的多个像素。像素阵列111的像素可以布置在物理区域中，并且原始图像raw_IMG的像素可以布置在数字区域中。像素阵列111的像素和原始图像raw_IMG的像素可以在相同的排列位置之间具有对应关系。

例如，原始图像raw_IMG的像素(x，y)可以对应于像素阵列111的像素(x，y)。这里，x和y是自然数。另外，原始图像raw_IMG的像素(x，y)的像素值可以与像素阵列111的像素(x，y)被曝光的光量成比例。原始图像raw_IMG的像素(x，y)的颜色可以是与像素阵列111的像素(x，y)中包括的滤色器的颜色相同的颜色。

像素阵列111的像素可以包括滤色器和感测电路。滤色器可以设置在感测电路上。在曝光时间期间，光可以穿过滤色器并到达感测电路。根据滤色器的颜色，像素可以被称为红色像素、蓝色像素、绿色像素等。

感测电路可以包括光感测元件。光感测元件可以在光入射时利用光电效应来生成电信号。例如，可以利用各种半导体元件来实现光感测元件，诸如p-n结光电二极管、正-本征-负(PIN)光电二极管、雪崩光电二极管(APD)、光电晶体管等。

滤色器可以是红色滤色器、绿色滤色器和蓝色滤色器中的一种。红色滤色器可以通过过滤入射光来透射指示红色的光。绿色滤色器可以通过过滤入射光来透射指示绿色的光。蓝色滤色器可以通过过滤入射光来透射指示蓝色的光。另外，这仅仅是一个示例，红色滤色器、绿色滤色器和蓝色滤色器中的至少一种可以转换为不同颜色的滤色器，诸如白色滤色器、青色滤色器或黄色滤色器，或者可以添加不同颜色的滤色器。

多个滤色器可以根据拜耳图案来布置。例如，可以针对每个单位区域布置红色滤色器、绿色滤色器和蓝色滤色器。在这种情况下，一个单位区域可以划分为四个子区域，诸如左上子区域、右上子区域、左下子区域和右下子区域。在四个子区域中的每一个中，相同颜色的滤色器可以布置成m×n。这里，m和n是自然数。例如，在四拜耳图案的情况下，相同颜色的滤色器可以在四个子区域中的每一个中以2×2布置。例如，绿色滤色器可以布置在位于对角方向上的左上子区域和右下子区域中的每一个中，并且红色滤色器和蓝色滤色器可以分别布置在位于另一对角方向上的右上子区域和左下子区域中。

行解码器112可以响应于从定时发生器113输出的地址和控制信号，在像素阵列111中包括的多个像素之中选择位于与上述地址相对应的行中的像素。另外，定时发生器113可以针对每个像素设置曝光值。例如，定时发生器113可以基于控制器120针对每个像素设置曝光值。

信号转换器114可以基于从像素阵列111输出的信号中的每一个来获得多个像素中的每个像素的像素值。信号转换器114可以基于定时发生器113将与选定行相对应的像素的像素值发送至输出缓冲器115。

输出缓冲器115可以存储从信号转换器114顺序传送的像素的像素值，并且输出具有像素的像素值的原始图像raw_IMG。

另外，像素值可以基于曝光时间期间像素上的入射光的量来获得。例如，像素值可以与通过曝光时间期间所曝光的光累积的电荷量成比例。

作为一个具体示例，像素可以通过感测电路产生具有与入射光的强度相对应的电平的电流。像素可以通过在曝光时间期间产生的电流来累积电荷。电荷可以累积在感测电路中。像素可以通过感测电路产生具有与累积电荷量成比例的电平的电压。此时，产生的电压的电平可以指示像素值。

在一个实施例中，像素阵列111可以包括多个像素。像素阵列111可以在针对多个像素中的每一个设置的曝光时间期间获得像素值。在这种情况下，像素阵列111可以获得包括具有像素值的像素的一个原始图像raw_IMG。此时，原始图像raw_IMG可以包括在两个或更多个不同曝光时间期间获得的像素值。

在一个实施例中，像素阵列111可以包括多个像素组。这里，可以在多个像素组中的每一个中设置不同的曝光时间。每个像素组可以包括以规则距离布置的多个像素。每个像素可以是红色像素、蓝色像素和绿色像素中的任何一种。

在特定实施例中，像素阵列111可以包括第一像素组和第二像素组。第一像素组可以包括设置有第一曝光值的多个像素。第二像素组可以包括设置有第二曝光值的多个像素。每个像素组中包括的像素可以在与每个像素组中设置的曝光值相对应的曝光时间期间感测光。像素阵列111可以获得与通过每个像素组中包括的每个像素感测到的光的量相对应的像素值。

在另一个实施例中，像素阵列111还可以包括不同于第一像素组和第二像素组的至少一个像素组。在这种情况下，其他像素组可以包括设置有与第一曝光值和第二曝光值不同的曝光值的多个像素。也就是说，像素组的数量可以根据不同曝光值的数量来确定。

另外，在上述实施例中，图像传感器110可以实现为在单位时间内通过一个传感器获得一个原始图像raw_IMG的单一类型。然而，这仅仅是一个实施例。图像传感器110也可以实现为在单位时间内通过多个传感器获得多个原始图像raw_IMG的多重类型。

为此，图像传感器110可以包括多个像素阵列111。上述光学透镜LS可以设置在每个像素阵列111上。行解码器112可以响应于从定时发生器113输出的地址和控制信号来选择位于与上述地址相对应的行中的单元。信号转换器114可以基于从像素阵列111输出的信号中的每一个来获得多个像素中的每一个的像素值。信号转换器114可以基于定时发生器113将与选定行相对应的像素的像素值发送至输出缓冲器115。输出缓冲器115可以存储从信号转换器114顺序传送的像素的像素值，并且可以输出包括像素的像素值的原始图像raw_IMG。也就是说，图像传感器110可以输出与多个像素阵列111的数量相同数量的原始图像raw_IMG。

图2B是示出根据本公开实施例的控制器的图。

参见图2B，控制器120可以包括：图像提取器121、定标器123、运动图生成器127和图像合成器129。此外，控制器120还可以包括图像选择器125和预处理器126中的至少一个。这里，图像提取器121、定标器123、运动图生成器127和图像合成器129可以实现为允许控制器120执行相应操作的软件模块。然而，它们不限于此，而是可以实现为允许控制器120执行相应操作的硬件模块(例如，电路等)。

图像提取器121可以将从图像传感器110接收到的原始图像raw_IMG划分为多个图像IMG。具体地，图像提取器121可以根据曝光值ET从接收自图像传感器110的原始图像raw_IMG生成多个图像IMG。由图像提取器121生成的多个图像IMG可以传送至定标器123。

在一个实施例中，当原始图像raw_IMG包括根据第一曝光值获得的像素值和根据第二曝光值获得的像素值时，图像提取器121可以生成如下第一图像和第二图像，第一图像具有通过像素阵列111获得的原始图像raw_IMG中包括的像素值之中通过第一像素组根据第一曝光值获得的像素值，且第二图像具有通过第二像素组根据第二曝光值获得的像素值。

在一个实施例中，当原始图像raw_IMG包括根据第一曝光值获得的像素值、根据第二曝光值获得的像素值以及根据第三曝光值获得的像素值时，图像提取器121可以生成如下第一图像、第二图像和第三图像，第一图像具有通过像素阵列111获得的原始图像raw_IMG中包括的像素值之中根据第一曝光值获得的像素值，第二图像具有根据第二曝光值获得的像素值，且第三图像具有根据第三曝光值获得的像素值。

定标器123可以接收多个图像IMG。定标器123可以接收每个图像IMG的曝光值ET。

具体地，多个图像中的每一个可以包括多个像素值。多个图像中的每一个可以包括根据不同曝光值获得的像素值。例如，多个图像可以包括：具有第一曝光值的第一图像、具有第二曝光值的第二图像、具有第三曝光值的第三图像以及具有第四曝光值的第四图像。具体地，第一图像可以包括在由第一曝光值指示的第一曝光时间期间通过第一像素组获得的像素值。第二图像可以包括在由第二曝光值指示的第二曝光时间期间通过第二像素组获得的像素值。第三图像可以包括在由第三曝光值指示的第三曝光时间期间通过第三像素组获得的像素值。第四图像可以包括在由第四曝光值指示的第四曝光时间期间通过第四像素组获得的像素值。这里，假设曝光值和曝光时间彼此成比例。在本公开中，除非另有说明，否则假设值按照第一曝光值、第二曝光值、第三曝光值和第四曝光值的顺序变大。

定标器123可以通过利用不同曝光值校正多个图像IMG来生成与不同曝光值相对应的多个标度图像SIMG。这是因为，当比较多个图像IMG的相同区域时，曝光值越小像素值趋向于越小，并且曝光值越大像素值趋向于越大。即，这是为了将具有不同曝光值的图像调整到相同的条件。

在一个实施例中，定标器123可以校正第一图像的像素值，以生成具有校正像素值的第一标度图像。定标器123可以校正第二图像的像素值，以生成具有校正像素值的第二标度图像。此外，定标器123可以校正第三图像的像素值，以生成具有校正像素值的第三标度图像。定标器123可以校正第四图像的像素值，以生成具有校正像素值的第四标度图像。

在一个实施例中，定标器123可以计算曝光率，曝光率是通过将多个图像IMG中的每一个的曝光值中的最大曝光值除以每个图像的曝光值而获得的。定标器123可以通过将曝光率与每个图像中包括的每个像素值相乘的运算来获得校正了每个图像的像素值的像素值。定标器123可以获得具有校正像素值的标度图像SIMG。更具体的细节将参照图5A和图5B来进行描述。

定标器123可以通过利用多个图像IMG中的每一个的曝光值来校正多个图像IMG中的每一个的像素的像素值，并且可以获得通过将多个图像IMG的每个像素的颜色转换为灰度而获得的多个标度图像SIMG。像素的颜色可以是诸如红、绿、蓝三个通道，而灰度可以是黑白单通道。更具体的细节将参考图6A进行描述。

图像选择器125可以将多个标度图像SIMG之中具有最小曝光值的标度图像确定为参考标度图像SIMG_R。图像选择器125可以将多个标度图像SIMG之中与参考标度图像SIMG_R不同的一个或多个标度图像确定为目标标度图像SIMG_T。可以针对每个目标标度图像SIMG_T生成一个相应的运动图。

预处理器126可以对多个标度图像SIMG执行预处理。多个标度图像SIMG可以包括参考标度图像SIMG_R和一个或多个目标标度图像SIMG_T。这可以用于生成准确地指示对象的运动的运动图或用于减少生成运动图所需的运算量。

在一个实施例中，预处理器126可以获得通过将多个标度图像SIMG的颜色转换为灰度而获得的灰度图像。这里，多个标度图像SIMG的颜色可以包括红色、绿色和蓝色三个通道。灰度图像可以包括参考灰度图像GSIMG_R和一个或多个目标灰度图像GSIMG_T。例如，预处理器126可以获得通过将参考标度图像SIMG_R的颜色转换为灰度而获得的参考灰度图像GSIMG_R。预处理器126可以获得通过将目标标度图像SIMG_T的颜色转换为灰度而获得的目标灰度图像GSIMG_T。

另外，根据本公开实施例，可以省略预处理器126。在这种情况下，图像选择器125可以将参考标度图像SIMG_R和一个或多个目标标度图像SIMG_T发送至运动图生成器127。

运动图生成器127可以针对每个目标标度图像SIMG_T生成运动图。替代地，运动图生成器127可以针对每个目标灰度图像GSIMG_T生成运动图。在下文中，为了便于说明，描述针对每个目标标度图像SIMG_T生成运动图的内容。

在一个实施例中，运动图生成器127可以基于第一块组中的指示对象的第一块的位置和第二块组中的指示对象的第二块的位置来生成指示对象的运动的运动图。

这里，第一块组可以对应于第一标度图像。第一块组中包括的多个块中的任一个可以对应于第一标度图像的一个区域。例如，第一块组可以包括多个第一块。第一标度图像可以包括多个第一区域。这里，第一块可以对应于第一区域。第一块可以具有基于第一区域中包括的像素值计算的块值。即，一个块值可以是通过利用多个像素值计算的值。另外，第二块组可以对应于第二标度图像。第二块组可以包括多个第二块。第二标度图像可以包括多个第二区域。第二块可以对应于第二区域。第二块可以具有基于第二区域中包括的像素值计算的块值。

可以针对多个标度图像SIMG之中除了参考标度图像SIMG_R之外的剩余目标标度图像SIMG_T中的每一个生成运动图。也就是说，运动图的数量可以是通过从多个标度图像SIMG的数量中减去一而获得的数量。另外，用于生成运动图的标度图像SIMG可以是转换为灰度的灰度图像。

运动图可以对应于第一块组(或第二块组)。运动图可以包括多个运动值。每个运动值可以对应于第一块组(或第二块组)中包括的每个块。这里，运动值可以表示在由相应块指示的位置处对象的运动所发生的程度。运动值可以是基于相应块中包括的块值所计算的值。

运动值可以用作权重运算的权重。具体地，运动值可以具有与对应于块的图像的一个区域相对应的位置关系。在这种情况下，运动值可以用作用于相应图像的一个区域中包括的像素值的权重。随着运动值的增加，对象的运动发生的程度可能会增加。也就是说，随着运动值增加，该运动值可以表示对象移动得更远或更快。

另外，在第一标度图像和第二标度图像之中，具有小的曝光值的标度图像可以被预定为参考标度图像SIMG_R，并且另一个标度图像可以被预定为目标标度图像SIMG_T。

在一个实施例中，运动图生成器127可以基于参考标度图像SIMG_R中包括的对象的位置与具有选定曝光值的标度图像SIMG中包括的对象的位置之间的距离来生成运动图。

在特定实施例中，当上述距离大于最小参考值并且等于或小于最大参考值时，运动图生成器127可以随着距离增加，增加运动图中包括的多个运动值之中与对象的位置相对应的运动值。也就是说，与对象的位置相对应的运动值可以是与距离成比例的值。在一个实施例中，当上述距离等于或小于最小参考值时，运动图生成器127可以将运动图中包括的多个运动值之中与对象的位置相对应的运动值调整为值0。在一个实施例中，当上述距离大于最大参考值时，运动图生成器127可以将运动图中包括的多个运动值之中与对象的位置相对应的运动值调整为值1。

图像合成器129可以通过利用运动图作为参考标度图像和多个标度图像SIMG之中具有选定曝光值的标度图像的权重，根据权重运算来生成输出图像Out_IMG。图像合成器129可以输出输出图像Out_IMG。

在一个实施例中，图像合成器129可以随着运动值增加而增加参考标度图像的像素值的权重。随着运动值增加，图像合成器129可以减小目标标度图像的像素值的权重。随着运动值增加，图像合成器129可以根据增加参考标度图像的像素值的权重并减小目标标度图像的像素值的权重的权重运算来生成输出图像。

关于这一点，当根据图像的合成生成输出图像Out_IMG时，在运动值大的位置处出现重影现象的可能性增加。根据本公开，在运动值较大的位置，通过将具有小曝光值的参考标度图像的权重应用为大的值并且将具有大曝光值的标度图像的权重应用为小的值，可以防止重影现象发生。

图2C是示出根据本公开实施例的定标器、预处理器和运动图生成器的详细配置的图。

参见图2C的(1)，定标器123可以包括：最大曝光值确定器123-1、曝光值比率计算器123-3和像素值校正器123-5。

最大曝光值确定器123-1可以将多个曝光值中的最大值确定为最大曝光值。最大曝光值确定器123-1可以输出关于最大曝光值的信息。

在一个实施例中，假设多个曝光值包括第一曝光值和第二曝光值。在这种情况下，最大曝光值确定器123-1可以将第一曝光值和第二曝光值中的最大值确定为最大曝光值。

曝光值比率计算器123-3可以输出关于通过将最大曝光值除以多个曝光值中的每一个而获得的比率值的信息。

在一个实施例中，假设多个曝光值包括第一曝光值和第二曝光值。在这种情况下，曝光值比率计算器123-3可以输出关于通过将最大曝光值除以第一曝光值而获得的第一比率值和通过将最大曝光值除以第二曝光值而获得的第二比率值的信息。

像素值校正器123-5可以通过校正多个图像中的每一个来生成多个标度图像。以第一图像为例，像素值校正器123-5可以通过将第一图像中包括的像素值乘以与第一图像相对应的第一比率值来生成第一标度图像。在这种情况下，第一标度图像中包括的像素值可以是通过将第一图像的像素值分别乘以第一比率值而获得的值。

在一个实施例中，假设多个曝光值包括第一曝光值和第二曝光值。在这种情况下，像素值校正器123-5可以生成第一标度图像，在第一标度图像中，利用通过将第一图像的像素值乘以第一比率值获得的值来校正了第一图像的像素值。像素值校正器123-5可以生成第二标度图像，在第二标度图像中，利用通过将第二图像的像素值乘以第二比率值获得的值来校正了第二图像的像素值。

参见图2C的(2)，在一个实施例中，预处理器126可以包括灰度转换器126-1。

灰度转换器126-1可以将多个标度图像中的每一个的颜色转换成灰度颜色。具体地，灰度转换器126-1可以利用通过将标度图像的颜色转换为灰度颜色而获得的像素值来生成灰度图像。

在一个实施例中，灰度转换器126-1可以生成第一灰度图像，第一灰度图像分别包括通过利用第一标度图像的一个区域中包括的红色、绿色和蓝色的像素值而获得的灰度颜色的像素值。灰度转换器126-1可以生成第二灰度图像，第二灰度图像分别包括通过利用第二标度图像的一个区域中包括的红色、绿色和蓝色的像素值而获得的灰度颜色的像素值。在这种情况下，图2C的(3)的块值计算器127-1可以分别计算第一灰度图像的一个区域中包括的像素值的平均值作为第一块组中包括的一个块的块值，并且可以分别计算第二灰度图像的一个区域中包括的像素值的平均值作为第二块组中包括的一个块的块值。

在一个实施例中，预处理器126可以包括金字塔图像生成器126-3。

金字塔图像生成器126-3可以生成其中降低了多个标度图像的分辨率的多个金字塔图像。替代地，金字塔图像生成器126-3可以生成其中降低了多个灰度图像的分辨率的多个金字塔图像。

在一个实施例中，金字塔图像生成器126-3可以获得参考金字塔图像和选择金字塔图像，参考金字塔图像是通过降低参考标度图像的分辨率获得的，且选择金字塔图像是通过降低目标标度图像的分辨率获得的。这里，选择金字塔图像可以称为目标金字塔图像。换言之，金字塔图像生成器126-3可以获得其中降低了第一标度图像的分辨率的第一金字塔图像和其中降低了第二标度图像的分辨率的第二金字塔图像。第一金字塔图像可以包括多个第一金字塔区域。第一标度图像可以包括多个第一区域。第一区域可以对应于第一金字塔区域。第一区域中包括的像素值的数量可以大于第一金字塔区域中包括的像素值的数量。第二金字塔图像可以包括多个第二金字塔区域。第二区域可以对应于第二金字塔区域。第二区域中包括的像素值的数量可以大于第二金字塔区域中包括的像素值的数量。在这种情况下，图2C的(3)的块值计算器127-1可以通过利用第一金字塔图像的一个区域中包括的像素值来计算第一金字塔块组中包括的每个块的块值。块值计算器127-1可以通过利用第二金字塔图像中包括的像素值来计算第二金字塔块组中包括的每个块的块值。

参考图2C的(3)，运动图生成器127可以包括：块值计算器127-1、块位置检测器127-3、块距离计算器127-5和运动值计算器127-7。

块值计算器127-1可以通过利用标度图像中包括的像素值来计算块的块值。一个块可以对应于标度图像中包括的多个区域中的一个。可以通过利用标度图像中包括的多个区域的一个区域中所包括的像素值来计算一个块的块值。

在一个实施例中，块值计算器127-1可以通过利用第一标度图像中包括的像素值来计算第一块组中包括的每个块的块值。块值计算器127-1可以通过利用第二标度图像中包括的像素值来计算第二块组中包括的每个块的块值。

在一个实施例中，块值计算器127-1可以计算第一标度图像的一个区域中包括的像素值的平均值作为第一块组中包括的一个块的块值。块值计算器127-1可以计算第二标度图像的一个区域中包括的像素值的平均值作为第二块组中包括的一个块的块值。这里，每个块可以对应于一个区域。

块位置检测器127-3可以确定每个块组中的指示对象的块。

在一个实施例中，块位置检测器127-3可以选择每个块组中包括的多个块中的任一个块的块值，并且当选定块的块值与相邻块的块值之间的值超过参考值时，将选定块确定为指示对象的块。

在一个实施例中，块位置检测器127-3可以比较与参考标度图像相对应的第一块组和与目标标度图像相对应的第二块组。块位置检测器127-3可以在相同位置的块之间区分第一块组中包括的块的块值和第二块组中包括的块的块值。在区分结果值之中接近于0的值可以指示对象的移动未发生的区域或不存在对象的背景区域。在区分结果值中，大于参考值的值可以指示对象的移动发生的区域。块位置检测器127-3可以将在区分结果值中具有大于参考值的值的位置的块确定为指示对象的块。

在一个实施例中，块位置检测器127-3可以在第一金字塔块组中确定具有指示对象的块值的第一金字塔块，并且可以在第二金字塔块组中确定具有指示对象的块值的第二金字塔块。块位置检测器127-3可以将第一块组中包括的块之中与第一金字塔块的位置相对应的块确定为第一块，并且可以将第二块组中包括的块之中与第二金字塔块的位置相对应的块确定为第二块。

块距离计算器127-5可以计算第一块组中包括的块之中具有指示对象的块值的第一块的位置与第二块组中包括的块之中具有指示对象的块值的第二块的位置之间的距离。这里，第一块的位置可以指示第一块相对于第一块组中包括的多个块的相对位置。第二块的位置可以指示第二块相对于第二块组中包括的多个块的相对位置。

运动值计算器127-7可以基于第一块组中包括的块之中指示对象的第一块的位置与第二块组中包括的块之中指示对象的第二块的位置之间的距离来计算要包括在运动图中的运动值。

在一个实施例中，当第一块与第二块之间的距离大于最小参考值并且等于或小于最大参考值时，运动值计算器127-7可以计算与上述距离成比例的值作为运动值。当上述距离等于或小于最小参考值时，运动值计算器127-7可以计算值0作为运动值。当上述距离大于最大参考值时，运动值计算器127-7可以计算值1作为运动值。

图3是示出根据本公开实施例的操作电子装置的方法的图。

参见图3，操作电子装置100的方法可以包括：获得设置有不同曝光时间的多个图像(S310)；基于多个图像的曝光时间来获得多个标度图像(S320)；基于多个标度图像中的每一个中包括的对象的位置来生成运动图(S330)；以及通过对多个标度图像和运动图的权重运算来生成输出图像(S340)。

具体地，可以获得设置有不同曝光时间的多个图像(S310)。也就是说，可以从多个像素组获得多个图像。多个像素组中的每一个可以在不同曝光时间期间感测像素值。

在一个实施例中，获得多个图像可以包括：在多个像素中的每个像素中单独设置的曝光时间期间通过具有多个像素的像素阵列111来获得像素值；获得多个图像，每个图像包括具有在相同曝光时间期间获得的像素值的像素。

此外，可以基于多个图像的曝光时间来获得多个标度图像(S320)。也就是说，可以通过利用多个图像中的每一个的曝光时间来获得通过校正多个图像而获得的多个标度图像。

在一个实施例中，获得多个标度图像可以包括：获得通过如下运算校正选定图像的像素而获得的标度图像，上述运算是将多个图像中的每个图像的曝光时间之中的最大曝光时间除以多个图像之中的选定图像的曝光时间而获得的比率与选定图像中包括的像素的像素值中的每一个相乘的运算。

在一个实施例中，获得多个标度图像可以包括：通过利用多个图像中的每一个的曝光时间来校正多个图像中的每一个图像的像素的像素值，以及获得通过将多个图像中的每一个像素的颜色转换为灰度而获得的多个标度图像。

此外，可以基于多个标度图像中的每一个中包括的对象的位置来生成运动图(S330)。即，可以基于多个标度图像之中具有最小曝光时间的参考标度图像和选择标度图像来生成指示对象的位置变化的运动图。选择标度图像可以是多个标度图像之中具有与最小曝光时间不同的曝光时间的标度图像。

在一个实施例中，生成运动图可以包括：基于参考标度图像中包括的对象的位置与具有选定的曝光时间的标度图像中包括的对象的位置之间的差来生成运动图。这里，位置差可以表示距离。

生成运动图可以包括：当位置差增加时，增加运动图中包括的多个运动值之中与对象的位置相对应的运动值，其中在位置差大于最小参考值且等于或小于最大参考值的情况下，位置值增加。

在一个实施例中，生成运动图可以包括：当位置差等于或小于最小参考值时，将运动图中包括的多个运动值之中与对象的位置相对应的运动值调整为值0。

在一个实施例中，生成运动图可以包括：当位置差大于最大参考值时，将运动图中包括的多个运动值之中与对象的位置相对应的运动值调整为值1。

在一个实施例中，生成运动图可以包括：生成其中参考标度图像被降低到预设分辨率的参考金字塔图像；生成其中具有选定的曝光时间的标度图像被降低到预设的分辨率的金字塔图像；以及基于参考金字塔图像中包括的对象与金字塔图像中包括的对象之间的位置差来生成运动图。

此外，可以通过对多个标度图像和运动图的权重运算来生成输出图像(S340)。即，可以输出通过利用参考标度图像和选择标度图像作为权重合成的输出图像。

图4A至图4D是示出根据本公开实施例的图像的图。这里，图4A至图4D示出了图像400以及第一图像410至第四图像440的一部分。

参见图4A至图4D，根据本公开实施例的控制器120可以通过具有根据拜耳图案布置的滤色器的图像传感器110来获得图像400。

在这种情况下，图像400可以包括根据拜耳图案布置的多个像素。拜耳图案可以表示在单位区域中红色像素R和蓝色像素B彼此沿对角线方向定位并且绿色像素Gr和Gb布置在剩余位置中的方法。

在一个实施例中，图像400可以包括多个单位区域。每个单位区域可以包括以2×2布置的四个子区域。例如，一个单位区域可以包括左上子区域、右上子区域、左下子区域和右下子区域。每个子区域可以包括布置成m×n的相同颜色的像素。这里，m和n是自然数。作为具体示例，以m和n为2的四拜耳图案的情况为例进行说明。在这种情况下，第一绿色像素Gr可以以2×2布置在左上子区域中。在右上子区域中，红色像素R可以以2×2布置。在左下子区域中，蓝色像素B可以以2×2布置。在右下子区域中，第二绿色像素Gb可以以2×2布置。然而，这仅仅是一个示例，m和n中的每一个都可以变换为各种自然数。

可以针对在每个子区域中位于相对相同位置的像素设置相同的曝光值。例如，在每个子区域中，可以针对位于(1，1)处的像素设置第一曝光值ET_1，可以针对位于(2，1)处的像素设置第二曝光值ET_2，可以针对位于(1，2)处的像素设置第三曝光值ET_3，以及可以针对位于(2，2)处的像素设置第四曝光值ET_4。在一个示例中，曝光值按照第一曝光值ET_1、第二曝光值ET_2、第三曝光值ET_3和第四曝光值ET_4的顺序变大。每个像素可以包括在由针对每个像素设置的曝光值指示的曝光时间期间获得的像素值。

控制器120可以基于图像400中的设置有相同曝光值的像素来获得多个图像410至440。另外，这样的操作可以是由控制器120中包括的预处理器执行的操作。

参见图4A，控制器120可以提取图像400中包括的多个像素之中设置有第一曝光值ET_1的像素41Gr、41R、41B和41Gb。控制器120可以获得第一图像410，其中提取的像素41Gr、41R、41B和41Gb重复地设置在与提取的像素41Gr、41R、41B和41Gb相对应的区域中。与提取的像素41Gr、41R、41B和41Gb相对应的区域可以是提取的像素41Gr、41R、41B和41Gb中的一个所在的子区域41-1、41-2、41-3和41-4。

参见图4B，控制器120可以提取图像400中包括的多个像素之中设置有第二曝光值ET_2的像素42Gr、42R、42B和42Gb。控制器120可以获得第二图像420，其中提取的像素42Gr、42R、42B和42Gb重复地设置在与提取的像素42Gr、42R、42B和42Gb相对应的区域中。与提取的像素42Gr、42R、42B和42Gb相对应的区域可以是提取的像素42Gr、42R、42B和42Gb中的一个所在的子区域42-1、42-2、42-3和42-4。

参见图4C，控制器120可以提取图像400中包括的多个像素之中设置有第三曝光值ET_3的像素43Gr、43R、43B和43Gb。控制器120可以获得第三图像430，其中提取的像素43Gr、43R、43B和43Gb重复地布置在与提取的像素43Gr、43R、43B和43Gb相对应的区域中。与提取的像素43Gr、43R、43B和43Gb相对应的区域可以是提取的像素43Gr、43R、43B和43Gb中的一个所在的子区域43-1、43-2、43-3和43-4。

参见图4D，控制器120可以提取图像400中包括的多个像素之中设置有第四曝光值ET_4的像素44Gr、44R、44B和44Gb。控制器120可以获得第四图像440，其中提取的像素44Gr、44R、44B和44Gb重复地设置在与提取的像素44Gr、44R、44B和44Gb相对应的区域中。与提取的像素44Gr、44R、44B和44Gb相对应的区域可以是提取的像素44Gr、44R、44B和44Gb中的一个所在的子区域44-1、44-2、44-3和44-4。

图5A和图5B是示出根据本公开实施例的标度图像的图。

参见图5A，控制器120可以基于从图像传感器110获得的像素的像素值来获得设置有不同曝光值ET_1至ET_n的多个图像IMG_1至IMG_n。例如，控制器120可以获得第一图像IMG_1，第一图像IMG_1包括从图像传感器110获得的多个像素值之中在由第一曝光值ET_1指示的第一曝光时间期间获得的像素值。控制器120可以获得第二图像IMG_2，第二图像IMG_2具有从图像传感器110获得的多个像素值之中在由第二曝光值ET_2指示的第二曝光时间期间获得的像素值。

控制器120可以生成校正了具有不同曝光值的多个图像的像素值的多个标度图像。在一个实施例中，控制器120可以获得其中通过如下运算校正了多个选定图像的像素的标度图像，上述运算是将多个图像中的每一个的曝光值之中的最大曝光值除以多个图像之中选定图像的曝光值而获得的比率与选定图像中包括的像素的像素值中的每一个相乘的运算。另外，这样的操作可以是由控制器120中包括的定标器123执行的操作。

例如，参照图5A和图5B，假设曝光值从第一曝光值ET_1增加到第n曝光值ET_n。控制器120可以获得第一标度图像SIMG_1至第n标度图像SIMG_n，其中基于第一图像IMG_1至第n图像IMG_n中的每一个的曝光值和像素值校正了第一图像IMG_1至第n图像IMG_n。这里，描述从第k图像IMG_k或510获得第k标度图像SIMG_k或520的情况。控制器120可以经由如下运算来获得包括校正的像素值521的像素的第k标度图像SIMG_k或520，上述运算是将第k标度图像IMG_k或510中的每个像素的像素值PV_K或511与曝光值的比率相乘的运算。这里，第k图像IMG_k或510的曝光值的比率可以是通过将作为最大曝光值的第n曝光值ET_n除以第k图像IMG_k或510的第k曝光值ET_k而获得的值。通过重复这样的方法，控制器120可以获得第一标度图像SIMG_1至第n标度图像SIMG_n。

根据一个实施例，控制器120可以获得多个标度图像SIMG_1至SIMG_n，多个标度图像SIMG_1至SIMG_n是通过利用多个图像IMG_1至IMG_n中的每一个的曝光值ET_1至ET_n校正多个图像IMG_1至IMG_n中的每一个的像素的像素值、以及将多个图像IMG_1至IMG_n中的每一个的像素的颜色转换为灰度而获得的。这里，标度图像SIMG_1至SIMG_n可以是具有灰度颜色空间的图像。灰度可以表示单个通道的颜色，诸如黑白(或灰色阴影)。在这种情况下，像素的像素值可以表示亮度或光量。这将参照图6A具体描述。

图6A是示出根据本公开实施例的转换为灰度的标度图像的图。

参见图6A，控制器120可以获得通过将多个图像610中的每一个的像素的颜色转换为灰度而获得的多个标度图像620。这里，多个图像610可以包括红色像素R、绿色像素Gr和Gb以及蓝色像素B。另外，这样的操作可以是由控制器120中包括的定标器123执行的操作。

另外，多个图像610可以是通过利用参照图5A和图5B描述的多个图像IMG_1至IMG_n中的每一个的曝光值ET_1至ET_n来校正了像素值的图像。即，如参照图5A和图5B所描述的，控制器120可以通过首先利用多个图像中的每一个的曝光值来校正像素值然后将多个图像中的每一个中包括的像素的颜色转换为灰度来获得多个标度图像，如图6A所示。然而，这仅仅是一个实施例，控制器120可以通过首先将多个图像中的每一个中包括的像素的颜色转换为灰度然后通过利用转换为灰度级的多个图像中的每一个的曝光值ET_1至ET_n校正像素值来获得多个标度图像，如图5A和图5B所示。

例如，控制器120可以通过如下权重运算获得转换为与单位子区域611相对应的区域621的灰度的像素值，上述权重运算是将单独的权重乘以图像610的单位子区域611中包括的红色像素R、绿色像素Gr和Gb以及蓝色像素B的像素值的运算。此外，控制器120可以获得包括具有转换的像素值的亮度像素Y的标度图像620。这里，单位子区域611可以是红色像素R、绿色像素Gr和Gb以及蓝色像素B各为一个的区域。此时，可以将标度图像620称为灰度图像，以区分标度图像620和上述标度图像520。

当控制器120将单位子区域611中包括的红色像素R、绿色像素Gr和Gb以及蓝色像素B转换为灰度时，控制器120可以通过下面的权重运算来计算与单位子区域611相对应的区域621的亮度像素Y。

例如，(0.257×红色像素R的像素值)+(0.504×绿色像素Gr和Gb的像素值之和(或平均值))+(0.098×蓝色像素B的像素值)+16的运算结果可以是亮度像素Y的像素值。又例如，(0.299×红色像素R的像素值)+(0.587×绿色像素Gr和Gb之和(或平均值)+(0.114×蓝色像素B的像素值)的运算结果可以是亮度像素Y的像素值。同时，上述示例仅仅是示例，并且可以通过应用了各种权重的权重运算来计算亮度像素Y的像素值。

图6B是示出根据本公开实施例的块的图。

参见图6B，根据本公开实施例的控制器120可以获得灰度图像630中包括的多个区域中的每一个的块值。具体地，灰度图像630中包括的多个区域中的每一个可以包括M×N的亮度像素Y的像素值。这里，多个区域中的任意一个区域631可以对应于任一个块641(Block)。也就是说，控制器120可以通过利用任一区域631中包括的像素值来计算与任一区域631相对应的块641的块值。这里，M和N是自然数。例如，一个块可以包括8×8、16×16、32×32、64×64等的亮度像素Y。灰度图像630可以对应于块图像640。灰度图像630中包括的M×N的亮度像素Y可以对应于块图像640中包括的块641。

这里，块可以包括块值。块值可以是与块相对应的区域中包括的亮度像素Y的平均像素值或亮度像素Y的像素值的中心值中的任一个。

控制器120可以基于块的块值来识别对象。例如，在一个实施例中，控制器可以将具有基于一个块的块值而在预设值内的块值的相邻位置的块识别为对象。控制器120可以将识别的对象的位置确定为相应块的位置。替代地，控制器120可以将识别的对象的位置确定为与相应块相对应的像素的位置。此外，控制器120可以通过利用各种算法等来识别对象，各种算法诸如为用于分析实时计算机视觉的编程库(例如，OpenCV、Python等)、诸如Sobel滤色器或模糊滤波器的各种滤色器、Canny边缘检测、基于颜色、基于模板或背景差异化方法。另外，上述实施例仅仅是一个实施例，图像610的多个像素可以被分组成块，而不需要将图6A的图像610转换为灰度。

图7A至图7C是示出根据本公开实施例的运动图的图。

参见图7A，控制器120可以在多个标度图像710和720之中选择具有最小曝光值的标度图像GSIMG_1作为参考标度图像710。这里，参考标度图像710可以是具有最小曝光值的标度图像GSIMG_1，并且参考标度图像710可以是成为用于与另一个标度图像GSIMG_k中包括的对象的位置进行比较的参考的参考图像。

控制器120可以通过将多个标度图像710和720之中除了参考标度图像710之外的剩余标度图像720与参考标度图像710逐一进行比较来获得剩余标度图像720中的每一个的运动图730。

例如，可以选择多个标度图像之中具有最小第一曝光值的第一标度图像作为参考标度图像。可以通过利用具有大于第一曝光值的第二曝光值的第二标度图像以及参考标度图像来生成与第二标度图像相对应的第二运动图。可以通过利用具有大于第一曝光值的第三曝光值的第三标度图像以及参考标度图像来生成与第三标度图像相对应的第三运动图。可以通过利用具有大于第一曝光值的第四曝光值的第四标度图像以及参考标度图像来生成与第四标度图像相对应的第四运动图。也就是说，可以省略与第一标度图像相对应的第一运动图。

在下文中，为了描述方便，基于一个标度图像来描述剩余标度图像720。

这里，控制器120可以通过将参考标度图像710中包括的对象的位置与标度图像720中包括的对象的位置进行比较来获得标度图像720的运动图730。另外，这样的操作可以是由控制器120中包括的运动图生成器127执行的操作。

在一个实施例中，控制器120可以生成通过将参考标度图像710降低到预设分辨率而获得的参考金字塔图像715，并且可以生成通过将具有选定曝光值的标度图像720减小到预设分辨率而获得的金字塔图像725。这里，参考金字塔图像715和金字塔图像725可以是参考标度图像710和标度图像720的分辨率逐渐降低的图像。这里，分辨率可以表示设置在行方向上的像素的数量和设置在列方向上的像素的数量。

例如，控制器120可以获得通过将高斯滤波器应用于参考标度图像710和标度图像720并且将分辨率降低到1/2而获得的参考金字塔图像715和金字塔图像725。可以通过去除行方向和列方向上的偶数或奇数像素来降低图像的分辨率。这里，参考标度图像710和标度图像720可以是第一层级，分辨率降低到1/2的参考金字塔图像715和金字塔图像725可以是第二层级，分辨率降低到1/4的参考金字塔图像715和金字塔图像725可以是第三层级，分辨率降低到1/8的参考金字塔图像715和金字塔图像725可以是第四层级。在这种方法中，可以反复地降低图像的分辨率，并且图像的层级可以表示图像的分辨率降低的程度。

控制器120可以通过将相同层级的参考金字塔图像715的块和金字塔图像725的块进行比较来确定对象的位置变化。控制器120可以确定上层级的参考金字塔图像715和金字塔图像725中的对象的位置，并且可以基于在上层级确定的对象的位置，确定紧接在上层级之前的下层级的参考金字塔图像715和金字塔图像725中对象的位置。通过重复这样的过程，控制器120可以确定最低层级的参考标度图像710和标度图像720中对象的位置。

例如，控制器120可以基于第三层级的参考金字塔图像715和金字塔图像725的每一个中包括的块的块值来确定识别的对象的位置。此外，控制器120可以确定如下识别的对象的位置，即，对象是基于在第二层级的参考金字塔图像715和金字塔图像725的每一个中包括的块之中与在第三层级确定的对象的位置相对应的块的块值来识别的。此外，控制器120可以确定如下识别的对象的位置，即，对象是基于第一层级的参考金字塔图像710和金字塔图像720的每一个中包括的块之中与在第二层级确定的对象的位置相对应的块的块值来识别的。如上所述，在确定分辨率小的较高层级的对象的位置之后，可以利用在分辨率较大的较低层级的对象的位置。因此，可以减少确定对象位置所需的运算量，并且可以进行快速图像分析。

参见图7B，控制器120可以通过将参考标度图像710和选择标度图像720进行比较来确定对象的位置差。这里，参考标度图像710可以是第一标度图像。选定的标度图像720可以是第二标度图像至第n标度图像中的一个。第一标度图像可以是具有第一曝光值(其为最小的曝光值)的像素的像素值被校正的图像，第二标度图像可以是具有第二曝光值(其大于第一曝光值)的像素的像素值被校正的图像，第n标度图像可以是具有第n曝光值(其大于第一曝光值)的像素的像素值被校正的图像。

例如，假设参考标度图像710中包括的块之中指示对象A的块711的位置为(5，4)，并且标度图像720中包括的块之中指示相同的对象A的块723的位置为(2，2)。在这种情况下，当对象的位置相对于位置(2，2)处的块723从(5，4)改变为(2，2)时，控制器120可以将对象的位置差计算为(5-2)^2+(4-2)^2＝13。控制器120可以将值0应用为相对于不存在对象的块725(例如，块(7，2))的位置差。另外，控制器120可以将与(2，2)位置的块723的值相等的值13应用作为相对于对象A存在过但目前不存在的(5，4)位置的块721的位置差。然而，这仅仅是示例，并且应用于不存在对象的块725和对象A存在过但当前不存在的块721的值可以修改为任意的另一个值。

另外，参见图7C，控制器120可以经由通过将在参照图7B描述的方法中计算的值代入图7C的等式而计算的值来计算运动图。这里，运动图中包括的块的位置(X，Y)的运动值MV_XY可以用作权重。例如，运动值MV_XY可以具有属于0以上且1以下的范围的值。

在一个实施例中，当对象在块位置(X，Y)处的位置差D_XY大于最小参考值Min并且等于或小于最大参考值Max时，控制器120可以随着位置差D_XY增加来增加运动图中包括的多个运动值之中与对象的位置相对应的运动值MV_XY。

在一个实施例中，当位置差D_XY等于或小于最小参考值Min时，控制器120可以将运动图中包括的多个运动值之中与对象的位置相对应的运动值MV_XY调整为值0。即，当位置差D_XY等于或小于最小参考值Min时，运动值MV_XY可以具有作为最小值的值0。

在一个实施例中，当位置差D_XY大于最大参考值Max时，控制器120可以将运动图中包括的多个运动值之中与对象的位置相对应的运动值MV_XY调整为值1。也就是说，当位置差D_XY超过最大参考值Max时，运动值MV_XY可以具有作为最大值的值1。

另外，控制器120可以对计算的运动值MV_XY执行噪声去除处理。例如，控制器120可以在对运动值MV_XY执行开放处理之后执行闭合处理。这里，开放处理可以是在腐蚀运算之后执行膨胀运算，而闭合处理可以是在膨胀运算之后执行腐蚀运算。

图8A至图8C是示出根据本公开实施例的输出图像的图。

参见图8A，控制器120可以选择多个标度图像SIMG_1至SIMG_4之中具有最小曝光值的第一标度图像作为参考标度图像810。控制器120可以通过利用运动图825、835和845作为参考标度图像810和剩余标度图像820、830和840中的每一个的权重执行权重运算的操作来生成输出图像850。另外，这样的操作可以是由控制器120中包括的图像合成器129执行的操作。

运动图825、835和845可以作为将剩余标度图像820、830和840中的一个与参考标度图像810进行比较的结果而生成，如以上参照图7A至图7C所描述的。用于生成运动图825、835和845的参考标度图像810和剩余标度图像820、830和840可以是被转换为灰度的图像。

作为具体示例，控制器120可以通过利用与第二标度图像820相对应的第二运动图825作为参考标度图像810和第二标度图像820的权重来执行第一权重运算。控制器120可以通过利用与第三标度图像830相对应的第三运动图835作为参考标度图像810和第三标度图像830的权重来执行第二权重运算。控制器120可以通过利用与第四标度图像840相对应的第四运动图845作为参考标度图像810和第四标度图像840的权重来执行第三权重运算。控制器120可以通过第一权重运算至第三权重运算的平均值来生成输出图像850。

另外，上述实施例假设多个标度图像SIMG_1至SIMG_4的数量为四个。换言之，具有不同值的曝光值的数量为四个。然而，本公开不限于此，而是可以根据曝光值的数量等进行各种修改和实施。

在一个实施例中，控制器120可以经由图8B中所示的等式，通过利用运动图Motion_map_i作为参考标度图像SIMG_1和剩余标度图像SIMG_i中的每一个的权重，执行权重运算来生成输出图像Out_Img。这里，n可以是多个标度图像的数量或具有不同值的曝光值的数量。

输出图像Out_Img可以是通过权重运算合成的图像，具有最小曝光值的参考标度图像SIMG_1的权重被应用为大的值并且标度图像SIMG_i的权重被应用为小的值。

参见图8C，可以通过利用彼此对应的位置关系中的值对标度图像860和运动图870执行权重计算。这里，标度图像860可以是与运动图870相对应的参考标度图像或标度图像。运动图870可以包括基于与像素相对应的块计算的运动值，如以上参照图6A至图8C所描述的。标度图像860中包括的像素的像素值和运动图870中包括的运动值可以对彼此相对应的位置关系中的值进行运算。例如，当标度图像860中包括的第一区域861和运动图870的第一运动值871处于彼此相对应的位置关系时，可以执行将运动值871乘以第一区域861中包括的像素的像素值的运算。

根据如上所述的本公开，可以提供电子装置100及其操作方法，其用于输出具有改善的图像质量的图像，同时防止重影现象发生。此外，可以最小化通过合成具有不同曝光时间的图像获得的图像中重影现象的发生。

图9是示出根据本公开实施例的电子装置的实现示例的图。

参见图9，电子装置100可以实现为计算系统2000。计算系统2000可以包括图像传感器2010、处理器2020、储存设备2030、存储设备2040、输入/输出设备2050和显示设备2060。尽管在图9中未示出，但是计算系统2000还可以包括能够与储存设备2030、存储设备2040、输入/输出设备2050和显示设备2060通信或能够与外部设备通信的端口。

图像传感器2010可以获得具有多个像素的图像，曝光值被单独应用到这些像素。图像传感器2010可以通过地址总线、控制总线、数据总线或其他通信链路连接到处理器2020并与之通信。

图像传感器2010可以实现为各种类型的封装件。例如，图像传感器2010的至少一些配置可以利用封装件来实现，诸如叠层封装(PoP)、球栅阵列(BGA)、芯片级封装(CSP)、塑料引线芯片载体(PLCC)、塑料双列直插式封装(PDIP)、华夫式封装裸片、晶圆形式裸片、板上芯片(COB)、陶瓷双列直插式封装件(CERDIP)、塑料公制四方扁平封装(MQFP)、薄四方扁平封装(TQFP)、小外形(SOIC)、收缩小外形封装(SSOP)、薄型小外形(TSOP)、系统级封装(SIP)、多芯片封装(MCP)、晶圆级制造封装(WFP)、晶圆级处理层叠封装(WSP)等。根据一个实施例，图像传感器2010可以与处理器2020一起集成在一个芯片中，或者图像传感器2010和处理器2020可以分别集成在不同的芯片中。

处理器2020可以控制计算系统2000的整体操作。处理器2020可以控制显示设备2060以显示输出图像。处理器2020可以将输出图像存储在存储装置2030中。

处理器2020可以执行特定的计算或任务。根据本公开实施例，处理器2020可以包括中央处理单元(CPU)、应用处理单元(APU)、图形处理单元(GPU)等中的至少一种。

处理器2020可以通过地址总线、控制总线和数据总线连接到储存设备2030、存储设备2040和输入/输出设备2050以执行通信。根据本公开实施例，处理器2020还可以连接到扩展总线，诸如外围组件互连(PCI)总线。

处理器2020可以根据图像的曝光值来获得标度图像。处理器2020可以选择具有最小曝光值的标度图像作为参考标度图像，并将参考标度图像与具有另一个曝光值的标度图像进行比较以生成运动图。处理器2020可以通过利用运动图作为参考标度图像和具有其他曝光值的标度图像的权重的权重运算来生成输出图像。

存储装置2030可以存储诸如输出图像的数据。这里，存储在存储装置2030中的数据不仅可以在计算系统2000被驱动的情况下被保留，而且也可以在计算系统2000未被驱动的情况下被保留。例如，存储装置2030可以配置为所有类型的非易失性存储器中的一种，诸如闪存装置、固态驱动器(SSD)、硬盘驱动器(HDD)和光盘。

存储设备2040可以存储诸如输出图像的数据。存储设备2040可以临时存储要由处理器2020处理的数据或临时存储由处理器2020处理的数据。这里，存储在存储设备2040中的数据可以仅在计算系统2000被驱动的情况下被保留。替代地，即使在计算系统2000被驱动或未被驱动的情况下，存储在存储设备2040中的数据也可以被保留。例如，存储设备2040可以包括：诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)的易失性存储装置，以及诸如可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)和闪存装置的非易失性存储装置。

输入/输出设备2050可以包括输入设备和输出设备。输入设备可以是能够通过交互来输入用户命令的设备，例如，输入设备可以实现为键盘、小键盘、鼠标、麦克风等。输出设备可以是能够输出数据的设备，例如，输出设备可以实现为打印机、扬声器等。

显示设备2060是可视地输出诸如输出图像的数据的设备。为此，显示设备2060可以实现为各种类型的显示器，诸如液晶显示器，其利用单独的背光单元(例如，发光二极管(LED)等)作为光源，并且通过控制液晶的分子排列来控制从背光单元发出的光透射通过液晶的程度(光的亮度或光的强度)；以及不需要单独的背光单元或液晶作为光源而利用自发光元件的显示器(例如，尺寸为100μm至200μm的迷你LED、尺寸为100μm或更小的微型LED、有机LED(OLED)、量子点LED(QLED)等)。在这种情况下，显示设备2060可以向外部发射与输出图像相对应的红色、绿色和蓝色的光。

Claims (20)

1.一种电子装置，包括：

图像传感器，其包括分别对应于多个曝光值的多个像素组；以及

控制器，其：

在基于所述多个像素组获得的多个标度图像之中，选择具有最小曝光值的参考标度图像和具有与所述最小曝光值不同的曝光值的目标标度图像，以及

输出利用运动图获得的输出图像，所述运动图指示所述参考标度图像和所述目标标度图像中共同包括的对象的位置变化。

2.根据权利要求1所述的电子装置，其中，所述控制器利用所述运动图作为用于所述参考标度图像和所述目标标度图像的权重来输出所述输出图像。

3.根据权利要求1所述的电子装置，其中，所述控制器包括：

图像提取器，其基于所述多个像素组中的每个像素组的曝光值来获得多个图像；以及

定标器，其获得所述多个标度图像，所述多个标度图像是通过利用所述多个曝光值中的最大曝光值与所述多个图像中的每个图像的曝光值的比率来校正所述多个图像而获得的。

4.根据权利要求1所述的电子装置，其中，所述控制器包括：

块距离计算器，其获得所述参考标度图像中包括的多个第一区域之中指示对象的第一区域和所述目标标度图像中包括的多个第二区域之中指示对象的第二区域之间的距离；以及

运动值计算器，其获得包括基于所述距离计算的运动值的所述运动图。

5.根据权利要求4所述的电子装置，其中，当所述距离超过最小参考值并且等于或小于最大参考值时，所述运动值计算器计算与所述距离成比例的值作为所述运动值，

其中，当所述距离等于或小于所述最小参考值时，所述运动值计算器计算出值0作为所述运动值，以及

其中，当所述距离超过所述最大参考值时，所述运动值计算器计算出值1作为所述运动值。

6.根据权利要求4所述的电子装置，其中，所述控制器包括图像合成器，所述图像合成器根据权重运算生成所述输出图像，所述权重运算随着所述运动值的增加而增加所述参考标度图像中包括的像素值之中与所述运动值相对应的像素值的权重，以及减小所述目标标度图像中包括的像素值之中与所述运动值相对应的像素值的权重。

7.根据权利要求4所述的电子装置，其中，所述控制器包括块值计算器，所述块值计算器

获得所述参考标度图像中包括的所述多个第一区域中的每一个中所包括的像素值的平均值或中值作为所述多个第一区域中的每一个的块值，以及

获得所述目标标度图像中包括的所述多个第二区域中的每一个中所包括的像素值的平均值或中值作为所述多个第二区域中的每一个的块值。

8.根据权利要求7所述的电子装置，其中，所述控制器包括块位置检测器，所述块位置检测器

当所述多个第一区域之中的第一选择区域的块值与位于距所述第一选择区域预设距离内的第一外围区域的块值之间的差值超过参考值时，将所述第一选择区域确定为指示所述对象的所述第一区域，以及

当所述多个第二区域之中的第二选择区域的块值与位于距所述第二选择区域预设距离内的第二外围区域的块值之间的差值超过所述参考值时，将所述第二选择区域确定为指示所述对象的所述第二区域。

9.根据权利要求4所述的电子装置，其中，所述控制器包括：

金字塔图像生成器，其获得通过降低所述参考标度图像的分辨率获得的参考金字塔图像和通过降低所述目标标度图像的分辨率获得的选择金字塔图像；以及

块位置检测器，其

确定所述参考金字塔图像中包括的多个第一金字塔区域之中指示所述对象的第一金字塔区域，以及所述选择金字塔图像中包括的多个第二金字塔区域之中指示所述对象的第二金字塔区域，以及

将所述多个第一区域之中与所述第一金字塔区域相对应的区域确定为所述第一区域，并且将所述多个第二区域之中与所述第二金字塔区域相对应的区域确定为所述第二区域。

10.根据权利要求1所述的电子装置，其中，所述控制器包括灰度转换器，所述灰度转换器获得多个灰度图像，所述多个灰度图像是通过将所述多个标度图像中的每一个中包括用于红色的像素值、用于绿色的像素值和用于蓝色的像素值转换为用于灰度的像素值而获得的。

11.根据权利要求10所述的电子装置，其中，所述控制器包括：

块距离计算器，其获得第一区域与第二区域之间的距离，所述第一区域是多个灰度图像之中的具有最小曝光值的参考灰度图像中所包括的多个第一区域之中指示所述对象的第一区域，所述第二区域选择灰度图像中包括的多个第二区域之中指示所述对象的第二区域；以及

运动值计算器，其获得包括基于所述距离计算的运动值的所述运动图。

12.一种操作电子装置的方法，所述方法包括：

从在不同曝光时间期间感测像素值的多个像素组获得多个图像；

获得通过利用所述多个图像中的每一个的曝光时间校正所述多个图像而获得的多个标度图像；

基于所述多个标度图像之中具有最小曝光时间的参考标度图像和具有与所述最小曝光时间不同的曝光时间的选择标度图像，生成指示对象的位置变化的运动图；以及

输出通过利用所述运动图作为用于所述参考标度图像和所述选择标度图像的权重而合成的输出图像。

13.根据权利要求12所述的方法，其中，获得所述多个标度图像包括：获得通过利用所述多个图像中的每一个图像的曝光时间之中的最大曝光时间与所述多个图像中的每一个图像的曝光时间的比率校正所述多个图像而获得的所述多个标度图像。

14.根据权利要求12所述的方法，其中，获得所述多个标度图像包括：

获得通过利用所述多个图像中的每一个图像的曝光时间校正所述多个图像而获得的多个校正图像；以及

获得通过将所述校正图像转换为灰度而获得的所述多个标度图像。

15.根据权利要求12所述的方法，其中，生成所述运动图包括：生成包括运动值的所述运动图，所述运动值是基于所述参考标度图像和所述选择标度图像中共同包括的所述对象的位置变化而计算的。

16.根据权利要求15所述的方法，其中，生成所述运动图包括：当所述位置变化超过最小参考值并且等于或小于最大参考值时，计算与所述位置变化成比例的值作为所述运动值。

17.根据权利要求15所述的方法，其中，生成所述运动图包括：当所述位置变化等于或小于最小参考值时，计算值0作为所述运动值。

18.根据权利要求15所述的方法，其中，生成所述运动图包括：当所述位置变化超过最大参考值时，计算值1作为所述运动值。

19.根据权利要求12所述的方法，其中，生成所述运动图包括：

获得通过降低所述参考标度图像的分辨率而获得的参考金字塔图像和通过降低所述选择标度图像的分辨率而获得的选择金字塔图像；

确定所述参考金字塔图像中包括的多个第一金字塔区域之中指示所述对象的第一金字塔区域和所述选择金字塔图像中包括的多个第二金字塔区域之中指示所述对象的第二金字塔区域；以及

确定所述参考标度图像中包括的多个第一区域之中与所述第一金字塔区域相对应的区域与所述选择标度图像中包括的多个第二区域之中与所述第二金字塔区域相对应的区域之间的位置差作为所述位置变化。

20.根据权利要求12所述的方法，其中，获得所述多个图像包括：

从所述多个像素组中包括的第一像素组之中获得具有在第一曝光时间期间感测到的像素值的第一图像；以及

从所述多个像素组中包括的第二像素组之中获得具有在第二曝光时间期间感测到的像素值的第二图像，所述第二曝光时间包括所述第一曝光时间。

Images