CN115695987A - 电子设备及其操作方法 - Google Patents
电子设备及其操作方法 Download PDFInfo
- Publication number
- CN115695987A CN115695987A CN202210484314.8A CN202210484314A CN115695987A CN 115695987 A CN115695987 A CN 115695987A CN 202210484314 A CN202210484314 A CN 202210484314A CN 115695987 A CN115695987 A CN 115695987A
- Authority
- CN
- China
- Prior art keywords
- region
- exposure
- area
- pixel value
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了电子设备及其操作方法。一种电子设备包括:图像传感器,其用于获取图像,该图像包括在第一曝光时间期间感测的正常像素值和在比第一曝光时间短的第二曝光时间期间感测的短曝光像素值;以及处理器,其被配置为使用第一曝光时间与第二曝光时间的曝光比并且使用包括在图像的多个区域当中的所选区域中的短曝光像素值和正常像素值,获取指示所选区域是运动区域和正常区域之一的标志信息,并且被配置为基于标志信息来输出包括从所选区域中所包括的短曝光像素值校正的恢复像素值的恢复图像。
Description
技术领域
本公开总体上涉及电子设备及其操作方法,更具体地,涉及一种用于执行图像处理的电子设备和该电子设备的操作方法。
背景技术
近来,随着电子技术的发展,在包括智能电话、数字相机、游戏机、物联网、机器人、监控相机、医疗相机、自主车辆等的各种电子设备中对图像传感器的需求不断增加。图像传感器可通过将光转换为电信号来生成图像。
通常,可使用比较根据时间连续获取的多个图像的图像处理方法来检测图像中存在对象的运动的区域。然而,在该图像处理方法中,需要用于存储先前获取的图像的单独存储空间,并且在需要低功率技术的环境中难以应用该图像处理方法,因为每当获取图像时由于图像的存储而发生功耗。因此,需要解决这些问题的技术。
发明内容
根据本公开的一方面,提供了一种电子设备,该电子设备包括:图像传感器,其被配置为获取图像,该图像包括在第一曝光时间期间感测的正常像素值和在比第一曝光时间短的第二曝光时间期间感测的短曝光像素值;以及处理器,其被配置为通过使用第一曝光时间与第二曝光时间的曝光比并且通过使用包括在图像的多个区域当中的所选区域中的短曝光像素值和正常像素值,获取指示所选区域是运动区域和正常区域之一的标志信息,并且被配置为基于标志信息来输出包括从所选区域中所包括的短曝光像素值校正的恢复像素值的恢复图像。
根据本公开的另一方面,提供了一种操作电子设备的方法,该方法包括以下步骤:获取图像,该图像包括在第一曝光时间期间感测的正常像素值和在比第一曝光时间短的第二曝光时间期间感测的短曝光像素值;通过使用第一曝光时间与第二曝光时间的曝光比并且通过使用包括在图像的多个区域当中的所选区域中的短曝光像素值和正常像素值,获取指示所选区域是运动区域和正常区域之一的标志信息;并且基于标志信息来输出包括从所选区域中所包括的短曝光像素值校正的恢复像素值的恢复图像。
根据本公开的另一方面,提供了一种电子设备,该电子设备包括:通信接口,其被配置为从外部装置接收图像,该图像包括在不同曝光时间期间感测的正常像素值和短曝光像素值;以及处理器,其被配置为通过使用曝光时间的曝光比并且通过使用包括在图像的多个区域当中的所选区域中的短曝光像素值和正常像素值,确定所选区域是运动区域还是正常区域,并且当所选区域是运动区域时,通过使用短曝光像素值的外围像素值来获取从短曝光像素值校正的第一恢复像素值,并且当所选区域是正常区域时,获取使用曝光比从短曝光像素值校正的第二恢复像素值。
附图说明
现在将在下文参照附图更充分地描述示例实施方式;然而,它们可按照不同的形式具体实现,不应解释为限于本文所阐述的实施方式。相反,提供这些实施方式以使得本公开将彻底和完整,并且将向本领域技术人员充分传达示例实施方式的范围。
在附图中,为了例示清晰,尺寸可能被夸大。将理解,当元件被称为在两个元件“之间”时,它可以是这两个元件之间的仅有元件,或者也可存在一个或更多个中间元件。相似的标号始终表示相似的元件。
图1A是示出根据本公开的实施方式的电子设备的图。
图1B是示出根据本公开的实施方式的电子设备的图。
图2是示出根据本公开的实施方式的图像传感器的图。
图3是示出根据本公开的实施方式的处理器的图像处理操作的图。
图4是示出根据本公开的实施方式的处理器的详细配置的图。
图5A是示出根据本公开的实施方式的图像的图。
图5B是示出根据本公开的实施方式的曝光时间的图。
图5C是示出根据本公开的实施方式的根据曝光时间获取的图像的图。
图5D是示出根据本公开的实施方式的图像的图。
图6是示出根据本公开的实施方式的曝光校正器的操作的图。
图7A是示出根据本公开的实施方式的运动比率计算器和运动区域检测器的操作的图。
图7B是示出根据本公开的实施方式的标志信息的形式的图。
图8A是示出根据本公开的实施方式的运动区域检测器的操作的图。
图8B是示出根据本公开的实施方式的运动区域检测器的操作的图。
图8C是示出根据本公开的实施方式的运动区域检测器的操作的图。
图9A是示出根据本公开的实施方式的噪声滤波器的操作的图。
图9B是示出根据本公开的实施方式的噪声滤波器的操作的图。
图9C是示出根据本公开的实施方式的噪声滤波器的操作的图。
图10A是示出根据本公开的实施方式的像素校正器的操作的图。
图10B是示出根据本公开的实施方式的像素校正器的操作的图。
图10C是示出根据本公开的实施方式的像素校正器的操作的图。
图11是示出根据本公开的实施方式的使用标志信息来压缩图像的方法的图。
图12是示出根据本公开的实施方式的电子设备的操作方法的图。
图13是示出根据本公开的实施方式的电子设备的实现示例的图。
具体实施方式
为了描述根据本公开的概念的实施方式,本文所公开的具体结构或功能描述仅是例示性的。根据本公开的概念的实施方式可按各种形式实现,不能解释为限于本文所阐述的实施方式。
实施方式提供一种能够检测包括在一个图像中的运动区域的电子设备和该电子设备的操作方法。
图1A是示出根据本公开的实施方式的电子设备的图。图1B是示出根据本公开的实施方式的电子设备的图。
参照图1A,电子设备可包括图像传感器110和处理器130。
电子设备10可以是图像拾取装置、数字相机、摄像机、闭路电视(CCTV)、网络摄像头、安全相机、工业视觉相机、移动装置、智能电话、个人计算机(PC)、平板PC、笔记本计算机、个人数字助理(PDA)、企业数字助理(EDA)、便携式多媒体播放器(PMP)、可穿戴装置、黑匣子、机器人、自主车辆、车辆视觉相机、机顶盒、游戏机、电子词典、电子书阅读器、台式计算机、服务器、MP3播放器、智能医疗装置、电视、数字视频盘(DVD)播放器、音响、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、智能镜子、智能窗户、电子钥匙、电子相框、数字广告牌、安全控制面板等。可穿戴装置可以是智能手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜、头戴式装置(HMD)、皮肤垫、电子纹身或生物植入型电路等。
电子设备10可按照封装模块、部件等的形式实现。即,电子设备10可作为包括在计算系统中的一个部件操作。例如,计算系统可被实现为各种装置,包括数字相机、移动装置、智能电话、个人计算机(PC)、平板PC、笔记本计算机、个人数字助理(PDA)、企业数字助理(EDA)、便携式多媒体播放器(PMP)、可穿戴装置、黑匣子、机器人、自主车辆等。
图像传感器110可通过感测光学信号来获取图像。为此,图像传感器110可被实现为电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器等。
图像可包括像素数据。像素数据可通过沿着行和列布置的多个像素来获取。一个像素数据可包括与获取对应像素数据的一个像素关联的信息。具体地,像素数据可包括关于像素值、颜色、位置和曝光时间的信息。像素值可表示由对应像素感测的光学信号的亮度。像素值可具有在所分配的数据比特的范围内的值。例如,当数据比特对应于8比特时,像素值可具有0至255的范围内的自然数值。位置可表示布置对应像素的行和列。颜色可表示由对应像素感测的光学信号的颜色。例如,颜色可以是红色、绿色和蓝色之一。然而,这仅是实施方式,颜色不限于上述颜色。曝光时间可表示对应像素感测光学信号的时间。
图像传感器110可获取包括正常像素值和短曝光像素值的图像。正常像素值可以是在第一曝光时间期间感测的像素值,短曝光像素值可以是在第二曝光时间期间感测的像素值。第二曝光时间可以是比第一曝光时间短的时间。即,图像传感器110可获取包括在不同曝光时间期间感测的像素值的图像。然而,这仅是实施方式。曝光时间的类型和数量不限于此,可不同地修改和具体实现。
处理器130可控制电子设备100的总体操作。为此,处理器130可包括至少一个处理装置。例如,处理器130可包括图像信号处理器(ISP)、数字信号处理器(DSP)、应用处理器(AP)、图形处理单元(GPU)、中央处理单元(CPU)、控制器等中的至少一个。
当接收到用户请求时,处理器130可控制图像传感器110以获取图像。具体地,处理器130可通过输入接口接收用户请求。例如,输入接口可被实现为触摸感测面板、键盘、鼠标、按钮、麦克风等之一。另选地,处理器130可通过通信接口从外部装置接收用户请求。处理器130可向图像传感器110发送指示图像传感器110获取图像的命令。另外,处理器130可接收从图像传感器110获取的图像。图像可包括在第一曝光时间期间感测的正常像素值和在比第一曝光时间短的第二曝光时间期间感测的短曝光像素值。
另外,当接收到图像时,处理器130可使用包括在图像中的短曝光像素值和正常像素值将图像的各个区域确定为运动区域或正常区域。处理器130可获取指示通过将图像的各个区域确定为运动区域或正常区域而获得的结果的标志信息。运动区域可表示图像的多个区域当中的发生对象的运动的区域。正常区域可表示图像的多个区域当中的未发生对象的运动的区域。
另外,处理器130可输出从包括在图像中的短曝光像素值校正的恢复图像。具体地,处理器130可获取从包括在图像中的短曝光像素值校正的恢复像素值。处理器130可获取包括图像中所包括的正常像素值和恢复像素值的恢复图像。例如,处理器130可使用短曝光像素值的外围像素值来获取第一恢复像素值。第一恢复像素值可以是用于校正包括在运动区域中的短曝光像素值的值。例如,包括在运动区域中的短曝光像素值可通过校正改变为第一恢复值。处理器130可使用曝光比来获取第二恢复像素值。第二恢复像素值可以是用于校正包括在正常区域中的短曝光像素值的值。例如,包括在正常区域中的短曝光像素值可通过校正改变为第二恢复值。处理器130可输出包括运动区域中所包括的第一恢复像素值或正常区域中所包括的第二恢复像素值的恢复图像。在短曝光像素值中出现具有不同曝光时间的正常像素值和像素值之间的差,并且在短曝光像素值中很可能将出现噪声。因此,短曝光像素值被校正,从而可解决此问题。
参照图1B,电子设备100可包括通信接口120和处理器130。
通信接口120可根据各种通信方案通过通信发送/接收信息或信号。为此,通信接口120可包括用于执行有线通信或无线通信的电路。例如,通信接口120可包括蓝牙模块、Wi-Fi模块、蜂窝通信模块、近场通信(NFC)模块、红外通信模块、Zigbee通信模块、超宽带(UWB)模块、超声模块、以太网模块、局域网(LAN)模块、移动高清链路(MHL)、通用串行总线(USB)、显示端口(DP)、高清多媒体接口(HDMI)、数字视觉接口(DVI)、雷电模块、光学通信模块、卫星通信模块和部件中的至少一个。
电子设备100可通过通信接口120从外部装置接收图像。外部装置可以是包括上述图像传感器110的装置。电子设备100可以是服务器。然而,这仅是实施方式,电子设备100可以是上述诸如PC、机顶盒、智能扬声器和电视的各种装置之一。
通过通信接口120接收的图像可包括在不同曝光时间期间感测的正常像素值和短曝光像素值。图像可包括在第一曝光时间期间感测的正常像素值和在比第一曝光时间短的第二曝光时间期间感测的短曝光像素值。
处理器130可通过通信接口120接收图像。另外,当接收到图像时,处理器130可使用包括在图像中的短曝光像素值和正常像素值将图像的各个区域确定为运动区域或正常区域。另外,处理器130可输出从包括在图像中的短曝光像素值校正的恢复图像。如上所述,电子设备100可使用从安装在其中的图像传感器110或外部装置获取的图像来检测运动区域,并且可输出从包括在图像中的短曝光像素值校正的恢复图像。
如上所述,电子设备100可使用一个图像来检测运动区域而无需任何先前图像。因此,用于存储先前图像的存储器空间和功耗可降低。此外,与图像包括全部被同时感测的像素值的情况相比,电子设备100可获取图像质量没有劣化或经改进的恢复图像。
以下,将参照附图更详细地描述本公开的实施方式。
图2是示出根据本公开的实施方式的图像传感器的图。
参照图2,图像传感器110可包括光学透镜LS、像素阵列111、行解码器112、定时发生器113、信号转换器114和输出缓冲器115。
光学透镜LS可折射光学信号。通过光学透镜LS折射的光学信号可被传送至像素阵列111。为此,光学透镜LS可以是布置在像素阵列111上的微透镜的组件。此外,光学信号可包括关于对象的信息,例如对象的大小、形状、位置、颜色等。对象可以是存在于外部的被拍摄主体,例如人、物、动物或植物。
像素阵列111可包括多个像素。多个像素可布置在行方向和列方向上。像素阵列111的像素可分别对应于图像IMG的像素值。像素阵列111的像素可以是布置在物理区域中的像素,图像IMG的像素值可以是布置在数字区域中的像素值。像素阵列111的像素和图像IMG的像素值可相对于相同的布置位置具有对应关系。
像素阵列110的各个像素可包括滤色器和感测电路。
滤色器可设置在感测电路的顶部。通过光学透镜LS折射的光学信号可在通过滤色器的同时到达感测电路。滤色器可用于允许特定颜色或特定波长的光学信号通过并阻挡其它颜色或其它波长的光学信号。滤色器可具有与红色、绿色和蓝色之一对应的颜色。根据包括在像素中的滤色器的颜色,像素可被指定为红色像素、绿色像素或蓝色像素。然而,这仅是实施方式,滤色器的颜色可不同地改变。
像素阵列111的像素可根据拜耳(Bayer)图案布置。具体地,各自具有相同颜色的像素的像素组可交替地布置。即,相同颜色的像素可包括在一个组中,并且一个组中的像素可按m×n布置。这里,m和n是自然数。例如,在四元拜耳图案的情况下,各组可包括具有相同颜色并按2×2布置的像素。
感测电路可设置在滤色器的底部。感测电路可包括光感测元件。光感测元件可从使用光电效应接收的光学信号生成电像素信号。例如,当光学信号被接收到光感测元件达曝光时间时,与光学信号对应的电荷可累积在感测电路中,并且可生成与累积在感测电路中的电荷对应的像素信号。为此,光感测元件可被实现为诸如pn结二极管、正本征负(PIN)光电二极管、雪崩光电二极管(APD)和光电晶体管的各种半导体元件。
行解码器112可在定时发生器113的控制下选择用于读取像素数据的像素。例如,行解码器112可响应于地址和控制信号在像素阵列111中所包括的多个像素当中选择位于与从定时发生器113输出的地址对应的行上的像素。
定时发生器113可控制行解码器112和信号转换器114从位于像素阵列111中的特定行上的像素读取像素数据。例如,定时发生器113可向行解码器112依次输出表示位于特定行上的像素的行地址。定时发生器113可向行解码器112输出用于调节位于特定列上的像素的曝光时间的命令。
信号转换器114可使用从像素阵列111接收的像素信号和从定时发生器113接收的行地址来获取像素数据。另外,信号转换器114可将像素数据传送至输出缓冲器115。
具体地,信号转换器114可通过多条列线连接至像素阵列111的像素。像素与连接至一条列线的行数成比例。信号转换器114可通过各条列线接收关于位于一行上的像素的像素信号。即,信号转换器114可以行为单位接收像素信号。信号转换器114可获取与从像素阵列111接收的像素信号的电平对应的像素值。例如,像素信号可以是电压。为此,信号转换器114可包括模数转换器。另外,信号转换器114可基于映射至各个行地址的像素的颜色信息来获取关于位于与从定时发生器113接收的行地址对应的行上的像素的颜色的信息。
输出缓冲器115可通过多条列线连接至信号转换器114。输出缓冲器115可以行为单位依次存储从信号转换器114接收的像素值。当关于所有行的像素值均被存储时,输出缓冲器115可输出包括所存储的像素值的一个图像IMG。
图3是示出根据本公开的实施方式的处理器的图像处理操作的图。
参照图3,处理器130可使用包括在图像的所选区域中的短曝光像素值S和正常像素值以及曝光比来获取包括在运动图420中的标志信息。标志信息可以是指示所选区域是运动区域或正常区域的信息。
具体地,处理器130可通过图像传感器110或通信接口130接收图像410。图像410可包括在第一曝光时间期间感测的正常像素值和在比第一曝光时间短的第二曝光时间期间感测的短曝光像素值S。
另外,处理器130可获取具有从包括在图像410中的短曝光像素值S校正的校正像素值C的校正图像420。校正图像420可包括图像410中所包括的正常像素值和校正像素值C。即,校正图像420可以是包括在图像410中的短曝光像素值S被替换为校正像素值C的图像。图像410的区域可分别对应于校正图像420的区域。本公开中所描述的区域单元可以是具有包括在图像410或校正图像420中的像素值当中的具有相同颜色并连续地布置的像素值的区域。各个区域的大小可表示布置在行方向和列方向上的像素值的数量。例如,各个区域的大小可为2×2、3×3等。
另外,处理器130可使用包括在所选区域中的正常像素值和校正像素值C来获取指示校正图像420的所选区域是运动区域或正常区域的标志信息。标志信息可被包括在运动图430中。例如,当标志信息具有值1时,这可表示所选区域是运动区域。当标志信息具有值0时,这可表示所选区域是正常区域。
另外,处理器130可使用关于包括在运动图430中的所选区域的标志信息来获取关于要包括在最终运动图440中的空区域的标志信息。运动图430可包括分别与图像410或校正图像420的多个区域对应的多个区域。所选区域可表示图像410的多个区域当中的包括短曝光像素值S的区域或校正图像420的多个区域当中的包括校正像素值C的区域。空区域可表示图像410的多个区域当中的没有短曝光像素值S的区域或校正图像420的多个区域当中的没有校正像素值C的区域。
另外,处理器130可使用图像410和最终运动图440来输出恢复图像450。校正图像420可代替图像410使用。运动图420可代替最终运动图440使用。
例如,处理器130可使用包括在最终运动图440中的标志信息来确定图像410的所选区域是运动区域还是正常区域。
处理器130可根据第一方式使用包括在图像410的运动区域中的短曝光像素值S来获取第一恢复像素值I。第一方式是对包括在运动区域中的短曝光值S的外围像素值进行插值的方法。
另外,处理器130可根据第二方式使用包括在图像的正常区域中的短曝光像素值S来获取第二恢复像素值C。第二方式可以是计算通过将包括在正常区域中的短曝光像素值S乘以曝光比而获得的值的方法。即,包括在正常区域中的第二恢复像素值C可以是等于包括在校正图像420的正常区域中的校正像素值C的值。
另外,处理器130可获取具有运动区域的第一恢复像素值I或正常区域的第二恢复像素值C的恢复图像450。恢复图像450可包括第一恢复像素值I或第二恢复像素值C以及包括在图像410中的正常像素值。即,恢复图像450可以是包括在图像410中的短曝光像素值S被替换为第一恢复像素值I或第二恢复像素值C的图像。另选地,恢复图像450可以是包括在校正图像420中的校正像素值C当中的包括在运动区域中的校正像素值C被替换为第一恢复像素值I的图像。
图4是示出根据本公开的实施方式的处理器的详细配置的图。
参照图4,处理器130可包括曝光校正器131、运动比率计算器132、运动区域检测器133、噪声滤波器134和像素校正器135中的至少一个。
在实施方式中,曝光校正器131、运动比率计算器132、运动区域检测器133、噪声滤波器134和像素校正器135中的每一个可被实现为包括处理器130执行的指令、程序等的软件模块。处理器130或电子设备100还可包括存储软件模块的存储器。在实施方式中,曝光校正器131、运动比率计算器132、运动区域检测器133、噪声滤波器134和像素校正器135中的每一个可被实现为诸如逻辑电路、部分、ISP、DSP、AP、CPU或GPU的硬件。
曝光校正器131可使用短曝光像素值和曝光比来获取校正像素值。曝光比可以是正常像素值的第一曝光时间与短曝光像素值的第二曝光时间之比。曝光校正器131可获取通过将短曝光像素值乘以曝光比而获得的值作为校正像素值。另外,曝光校正器131可获取包括校正像素值和正常像素值的校正图像。这将参照图6更详细地描述。
运动比率计算器132可获取关于校正图像的多个区域中的每一个的运动比率。例如,运动比率计算器132可选择校正图像的多个区域当中的任一个区域作为所选区域。所选区域可以是校正图像的多个区域当中的包括短曝光像素值的区域。运动比率计算器132可使用包括在所选区域中的正常像素值和至少一个短曝光像素值来获取关于所选区域的运动比率。
在实施方式中,运动比率计算器132可获取表示包括在所选区域中的正常像素值的平均值与包括在所选区域中的校正像素值的平均值的比率的运动比率。
运动区域检测器133可基于关于所选区域的运动比率来确定校正图像的多个区域当中的校正图像的所选区域是运动区域还是正常区域。所选区域可以是校正图像的多个区域当中的包括短曝光像素值的区域。运动区域检测器133可基于关于所选区域的运动比率来获取指示校正图像的多个区域当中的所选区域是运动区域和正常区域之一的标志信息。关于多个区域当中的各个所选区域的标志信息的集合可以是图3所示的运动图430。
在实施方式中,当运动比率与第一基准值之间的差的大小值超过第二基准值时,运动区域检测器133可获取具有指示所选区域是运动区域的第一值的标志信息。在实施方式中,当运动比率与第一基准值之间的差的大小值等于或小于第二基准值时,运动区域检测器133可获取具有指示所选区域是正常区域的第二值的标志信息。第一值可为1,第二值可为0。然而,这仅是实施方式,第一值和第二值可被修改并具体实现为各种值。这将参照图7A和图7B更详细地描述。
此外,第一基准值和第二基准值可被预存储在处理器130或电子设备100中所包括的存储器中。例如,第一基准值可为1,第二基准值可为0.3。然而,这仅是实施方式,第一基准值和第二基准值可被修改并具体实现为各种值。
运动区域检测器133可使用关于空区域的外围区域的标志信息来获取关于空区域的标志信息。空区域可以是多个区域当中的不存在任何标志信息的区域。即,空区域可以是图像410的多个区域当中的没有任何短曝光像素值的区域。关于相应多个区域的标志信息的集合可以是图3所示的最终运动图440。
具体地,运动区域检测器133可允许内核的中央区域对应于空区域。例如,运动区域检测器133可将内核对准,使得内核的中央区域位于空区域上。内核可包括根据预定布置形式布置的多个区域。例如,内核可包括根据交叉布置形式布置的外围区域和中央区域。
运动区域检测器133可根据多个区域当中的与包括在内核中的中央区域的外围区域对应的区域中所包括的标志信息的值来获取指示空区域是运动区域和正常区域之一的标志信息。这将参照图8A至图8C更详细地描述。
噪声滤波器134可使用图3所示的最终运动图440中的内核来去除噪声。内核可包括根据预定布置形式布置的多个区域。例如,内核可包括根据交叉布置形式布置的外围区域和中央区域。
具体地,噪声滤波器134可允许内核的中央区域对应于指示多个区域当中的所选区域是运动区域的标志信息。根据包括在运动标志区域中的指示多个区域当中的与内核的外围区域和运动区域对应的区域的标志信息的值,噪声滤波器134可维持包括在运动标志区域中的标志信息或将包括在运动标志区域中的标志信息改变为指示所选区域是正常区域的标志信息。这将参照图9A至图9C更详细地描述。
像素校正器135可获取用于校正短曝光像素值的恢复像素值。像素校正器135可获取并输出包括恢复像素值的恢复图像。
具体地,当标志信息表示所选区域是运动区域时,像素校正器135可使用短曝光像素值的外围像素值来获取用于校正短曝光像素值的第一恢复像素值。
在实施方式中,当标志信息表示所选区域是运动区域时,像素校正器135可选择正常像素值当中的与包括在所选区域中的短曝光像素值相同颜色的正常像素值。像素校正器135可获取根据所选正常像素值当中的在多个方向上最接近短曝光像素值的外围正常像素值与短曝光像素值之间的距离和外围正常像素值的权重和的值作为第一恢复像素值。
多个方向可包括上方向、下方向、左方向和右方向。
在实施方式中,当所选正常像素值当中的在多个方向中的任一个方向上最接近短曝光像素值的第一像素值不存在时,像素校正器135可获取在与这一个方向相反的方向上最接近短曝光像素值的第二像素值作为第一像素值。
此外,当标志信息表示所选区域是正常区域时,像素校正器135可获取通过将包括在所选区域中的短曝光像素值乘以曝光比而获得的值作为第二恢复像素值。像素校正器135的操作将参照图10A至图10C更详细地描述。
图5A是示出根据本公开的实施方式的图像的图。
参照图5A,图像510可包括多个像素值。多个像素值可根据曝光时间被分成正常像素值和短曝光像素值。多个像素值可根据颜色被分成Gr像素值Gr1、Gr2、Gr3和Gr4、R像素值R1、R2、R3和R4、B像素值B1、B2、B3和B4以及Gb像素值Gb1、Gb2、Gb3和Gb4。包括在图像510中的多个像素值的布置可根据图像传感器110的像素的布置形式来确定。
图像510可包括多个拜耳区域。多个拜耳区域可根据包括在图像510中的布置在行方向和列方向上的像素值的数量来重复地布置。将描述任一个拜耳区域10,因为相同的描述可应用于多个拜耳区域中的每一个。
拜耳区域10可包括多个区域。多个区域中的每一个可以是具有相同颜色的像素值的区域。例如,拜耳区域10可包括第一至第四区域。第一区域可包括表示绿色的Gr像素值Gr1、Gr2、Gr3和Gr4。第二区域可包括表示红色的R像素值R1、R2、R3和R4。第三区域可包括表示蓝色的B像素值B1、B2、B3和B4。第四区域可包括表示绿色的Gb像素值Gb1、Gb2、Gb3和Gb4。具有表示绿色的Gr像素值Gr1、Gr2、Gr3和Gr4的第一区域和具有表示绿色的Gb像素值Gb1、Gb2、Gb3和Gb4的第四区域可位于对角方向上。
拜耳区域10可包括正常像素值和短曝光像素值。正常像素值可以是在第一曝光时间ET_N期间感测的像素值,短曝光像素值可以是在比第一曝光时间ET_N短的第二曝光时间ET_S期间感测的像素值。
在实施方式中,包括在图像510中的短曝光像素值ET_S的数量可小于包括在图像510中的正常像素值ET_N的数量。例如,包括在一个拜耳区域10中的多个区域当中的任一个区域11可包括三个正常像素值11n和一个短曝光像素值11s。这是为了通过限制短曝光像素值ET_S的数量来减少噪声,因为由于短曝光像素值ET_S的短曝光时间而很可能将出现噪声。
在实施方式中,包括在图像510中的多个区域当中的第一区域和第四区域可包括至少一个短曝光像素值ET_S。第一区域和第四区域可包括布置在除了短曝光像素值ET_S之外的其它位置处的多个正常像素值。短曝光像素值ET_S可布置在第一区域和第四区域中的相同位置处。然而,这仅是实施方式,短曝光像素值ET_S的数量和布置位置可不同地修改并具体实现。
图5B是示出根据本公开的实施方式的曝光时间的图。图5C是示出根据本公开的实施方式的根据曝光时间获取的图像的图。
参照图5B,根据本公开的实施方式,第一曝光时间ET_N可以是比第二曝光时间ET_S更长的时间。第一曝光时间ET_N的至少部分时间段和第二曝光时间ET_S的至少部分时间段可彼此交叠。
参照图5B的(1),根据实施方式,第一曝光时间ET_N可以是从第一时间t1至第三时间t3的时间段。第一时间t1可以是设定第一曝光时间ET_N的第一像素开始感测光学信号的感测操作的时间,第三时间t3可以是第一像素结束感测操作的时间。
第二曝光时间ET_S可以是从第二时间t2至第三时间t3的时间段。第二时间t2可以是设定第二曝光时间ET_S的第二像素开始感测光学信号的感测操作的时间,第三时间t3可以是第二像素结束感测操作的时间。即,第一像素可比第二像素早开始感测操作,然后第二像素可开始感测操作。随后,第一像素和第二像素可同时结束感测操作。
参照图5B的(2),根据实施方式,第一曝光时间ET_N可以是从第一时间t1至第三时间t3的时间段。第二曝光时间ET_N可以是从第一时间t1至第二时间t2的时间段。即,第一像素和第二像素可同时开始感测操作。随后,第二像素可比第一像素早结束感测操作。随后,第一像素可结束感测操作。此外,上述实施方式仅是实施方式,感测操作的开始时间和结束时间可不同地修改并具体实现。
根据本公开的实施方式,图像传感器110可获取包括感测达第一曝光时间ET_N的正常像素值和感测达第二曝光时间ET_S的短曝光像素值的图像。处理器130可通过向深度学习模型输入正常像素值来获取关于第一曝光时间ET_N的正常图像。另外,处理器130可通过向深度学习模型输入短曝光像素值来获取关于第二曝光时间ET_S的短曝光图像。深度学习模型可以是使用像素值来学习输出图像的人工智能模型。
例如,参照图5B的(1),假设第一曝光时间ET_N是从第一时间t1至第三时间t3的时间段,第二曝光时间ET_S是从第二时间t2至第三时间t3的时间段,并且对象从第一时间t1至第三时间t3从左至右移动。参照图5C的(1)和(2),短曝光图像530和正常图像550可通过深度学习模型从一个图像获取。
短曝光图像530可包括第一区域531、第二区域533、第三区域535和第四区域537。第三区域535可表示在从第二时间t2至第三时间t3的第二曝光时间ET_S对象所在的区域。即,第三区域535可包括表示对象的像素值。第一区域531、第二区域533和第四区域537可包括表示在第二曝光时间ET_S期间感测的另一对象的像素值。
正常图像550可包括第一区域551、第二区域553、第三区域555和第四区域557。第一区域551至第三区域555可表示在从第一时间t1至第三时间t3的第一曝光时间ET_N对象所在的区域。即,第一区域551至第三区域555可包括表示对象的像素值。
处理器130可基于与短曝光图像530和正常图像550对应的区域之间的差来确定在特定时间段期间对象所在的区域。特定时间段可从第一时间t1至第二时间t2,其中第一曝光时间ET_N和第二曝光时间ET_S彼此不交叠。处理器130可通过短曝光图像530确定在从第二时间t2至第三时间t3的时间段期间对象所在的区域。处理器130可通过每次对象所在的区域中的改变来确定对象移动的方向。即,处理器130可确定包括在当前图像中的对象的移动方向。包括在当前图像中的对象的移动方向可用于确定包括在下一图像中的对象要移动的区域和方向。当前图像和下一图像可以是根据时间依次获取的多个图像当中的连续图像,例如运动图像。如上所述,检测下一图像中对象所在的区域或发生对象的运动的区域的准确度可改进。
图5D是示出根据本公开的实施方式的图像的图。
图5D的(1)和(2)示出图像的拜耳区域。参照图5D的(1)和(2),根据本公开的实施方式,图像可包括多个区域。多个区域中的每一个可包括具有相同颜色的像素值。
参照图5D的(1),根据本公开的实施方式,图像的各个区域可包括2×2的像素值。图像的各个区域可包括在第一曝光时间ET_1至第四曝光时间ET_4期间感测的像素值。例如,在图像的各个区域中,位置(1,1)处的像素值可对应于感测达第一曝光时间ET_1的值,位置(1,2)处的像素值可对应于感测达第二曝光时间ET_2的值,位置(2,1)处的像素值可对应于感测达第三曝光时间ET_3的值,位置(2,2)处的像素值可对应于感测达第四曝光时间ET_4的值。第一曝光时间ET_1至第四曝光时间ET_4可全部为不同的时间,或者第一曝光时间ET_1至第四曝光时间ET_4中的一些可以是不同的时间。
参照图5D的(2),根据本公开的实施方式,图像的各个区域可包括3×3的像素值。图像的各个区域可包括在第一曝光时间ET_1至第九曝光时间ET_9期间感测的像素值。例如,在图像的各个区域中,位置(1,1)处的像素值至位置(3,3)处的像素值可对应于感测达第一曝光时间ET_1至第九曝光时间ET_9的值。第一曝光时间ET_1至第九曝光时间ET_9可全部为不同的时间,或者第一曝光时间ET_1至第九曝光时间ET_9中的一些可以是不同的时间。此外,上述实施方式仅是实施方式,根据曝光时间的布置和像素值的颜色可不同地修改并具体实现。
图6是示出根据本公开的实施方式的曝光校正器的操作的图。图6示出从图像传感器110或通信接口120接收的图像610。
参照图6的(1)和(2),曝光校正器131可获取使用曝光比从图像610校正的校正图像620。图像610可包括沿着行方向和列方向重复地布置的拜耳区域。拜耳区域可包括第一区域至第四区域。第一区域可包括(1,1)至(2,2)处的像素值,第二区域可包括(1,3)至(2,4)处的像素值,第三区域可包括(3,1)至(4,2)处的像素值,第三区域可包括(3,3)至(4,4)处的像素值。拜耳区域可包括位于(2,2)处的短曝光像素值、位于(4,4)处的短曝光像素值和其它位置处的正常像素值。
曝光校正器131可获取使用曝光比从包括在图像610中的短曝光像素值611S和612S校正的校正像素值621C和622C。另外,曝光校正器131可获取具有校正像素值621C和622C以及正常像素值的校正图像620。
例如,曝光校正器131可获取通过将短曝光像素值611S和612S乘以曝光比而获得的值作为校正像素值621C和622C。曝光比可以是第一曝光时间ET_N与第二曝光时间ET_S之比,第二曝光时间ET_S比第一曝光时间ET_N短。例如,如图6的(2)所示,曝光比可以是通过将第一曝光时间ET_N除以第二曝光时间ET_S而获得的值。
图7A是示出根据本公开的实施方式的运动比率计算器和运动区域检测器的操作的图。
参照图7A的(1)和(2),运动比率计算器132可获取关于校正图像710的多个区域当中的所选区域711C或712C的运动比率721R或722R。
具体地,运动比率计算器132可使用包括在所选区域711C或712C中的正常像素值PV和校正像素值cPV来获取关于所选区域711C或712C的运动比率721R或722R。为此,运动比率计算器132可选择校正图像710的多个区域当中的包括校正像素值的区域作为所选区域711C或712C。
在实施方式中,运动比率计算器132可获取包括在所选区域711C或712C中的正常像素值PV的平均值与包括在所选区域711C或712C中的校正像素值cPV的平均值的比率作为运动比率。例如,如图7A的(2)所示,运动比率721R或722R可以是通过将包括在所选区域711C或712C中的正常像素值PV的平均值除以包括在所选区域711C或712C中的校正像素值cPV的平均值而获得的值。
在另一实施方式中,运动比率计算器132可获取包括在所选区域711C或712C中的正常像素值PV的中值与包括在所选区域711C或712C中的校正像素值cPV的中值的比率作为运动比率721R或722R。当多个值按大小顺序排列时,中值可意指多个值当中的排列在最中心位置的值。在另一实施方式中,运动比率计算器132可获取包括在所选区域711C或712C中的正常像素值PV的最大频率值与包括在所选区域711C或712C中的校正像素值cPV的最大频率值的比率作为运动比率721R或722R。
此外,运动比率计算器132可利用关于所选区域711C或712C的运动比率721R或722R生成数据集720。包括在数据集720中的多个区域和包括在校正图像中的多个区域可在相同位置处彼此对应。此外,数据集720可包括关于未选区域的空值。空值可表示不存在运动比率的状态。未选区域可以是校正图像710的多个区域当中的没有校正像素值cPV的区域。
参照图7A的(2)和(3),运动区域检测器133可基于关于校正图像710的所选区域711C或712C的运动比率721R或722R来确定校正图像710的所选区域711C或712C是运动区域还是正常区域,并且获取指示所选区域711C或712C是运动区域和正常区域之一的标志信息731F或732F。标志信息731F或732F可包括第一值和第二值之一。第一值可为1,表示运动区域。第二值可为0,表示正常区域。然而,这仅是实施方式,第一值和第二值可不同地修改并具体实现。
在实施方式中,当关于第一所选区域711C的运动比率721R与第一基准值之间的差的大小值等于或小于第二基准值时,运动区域检测器133可获取具有指示第一所选区域711C是正常区域的第二值的标志信息731F。
在实施方式中,当关于第二所选区域712C的运动比率722R与第一基准值之间的差的大小值超过第二基准值时,运动区域检测器133可获取具有指示第二所选区域712C是运动区域的第一值的标志信息732F。
例如,第一基准值可为1,第二基准值可为0.3或0.5。然而,这仅是实施方式,第一基准值和第二基准值可被修改并具体实现为各种值。
此外,运动区域检测器133可利用关于所选区域711C和712C的标志信息731F和732F生成运动图730。包括在运动图730中的多个区域和包括在校正图像710中的多个区域可在相同位置处彼此对应。此外,运动图730可包括关于未选区域的空值。空值可表示不存在标志信息的状态。未选区域可以是校正图像710的多个区域当中的没有校正像素值cPV的区域。运动图730的多个区域当中的对应于未选区域并且包括空值的区域可被指定为空区域。
图7B是示出根据本公开的实施方式的标志信息的形式的图。
参照图7B的(1),根据实施方式,运动图730可包括与具有相同颜色的像素值的各个区域对应的一个标志信息。包括在对应区域中的一个标志信息可共同应用于包括在对应区域中的像素值。参照图7B的(2),根据实施方式,运动图735可包括与各个像素值对应的一个标志信息。即,标志信息可以区域为单位存在或以像素值为单位存在。
图8A至图8C是示出根据本公开的实施方式的运动区域检测器的操作的图。
参照图8A,运动区域检测器133可使用第一内核830从运动图810生成具有关于空区域811c的标志信息的运动图850。运动图850可以是在运动图810的空区域811c中填充标志信息的图。即,甚至包括在图像中的多个区域当中的没有任何短曝光像素值的区域也可填充有指示对应区域是运动区域或正常区域的标志信息。
具体地,运动区域检测器133可允许第一内核830的中央区域830c对应于运动图810的空区域811c。例如,运动区域检测器133可将第一内核830对准,使得运动图810的空区域811c和第一内核830的中央区域830c彼此交叠。
第一内核830可包括根据预定布置形式布置的外围区域和中央区域830c。在实施方式中,第一内核830的外围区域可包括关于第一内核830的中央区域830c在上方向、下方向、左方向和右方向上最接近中央区域830c的区域。上方向和下方向可以是行方向,左方向和右方向可以是列方向。即,第一内核830可包括根据交叉布置形式布置的多个区域。然而,这仅是实施方式,外围区域的布置形式和数量可不同地修改并具体实现。
运动区域检测器133可将第一内核830的中央区域830c对准在运动图810的空区域811c中。空区域811c可对应于第一内核830的中央区域830c,空区域811c的外围区域可对应于第一内核830的外围区域。空区域811c可以是不存在任何标志信息的区域,空区域811c的外围区域可包括具有标志信息的区域。
运动区域检测器133可根据运动图810的与第一内核830的中央区域830c的外围区域对应的区域中所包括的标志信息的值来获取指示运动图810的空区域811c是运动区域和正常区域之一的标志信息。
例如,关于第一内核830的中央区域830c位于上方向上的外围区域可对应于关于运动图810的空区域811c位于上方向上的区域。关于第一内核830的中央区域830c位于下方向上的外围区域可对应于关于运动图810的空区域811c位于下方向上的区域。关于第一内核830的中央区域830c位于左方向上的外围区域可对应于关于运动图810的空区域811c位于左方向上的区域。关于第一内核830的中央区域830c位于右方向上的外围区域可对应于关于运动图810的空区域811c位于右方向上的区域。
根据实施方式,当运动图810的与第一内核830的中央区域830c的外围区域对应的区域中所包括的标志信息的第一值的数量超过基准数量时,运动区域检测器133可获取指示运动图810的空区域811c是运动区域的标志信息。
根据实施方式,当运动图810的与第一内核830的中央区域830c的外围区域对应的区域中所包括的标志信息的第一值的数量等于或小于基准数量时,运动区域检测器133可获取指示运动图810的空区域811c是正常区域的标志信息。
标志信息的第一值可表示运动图810的对应区域是运动区域,标志信息的第二值可表示运动图810的对应区域是正常区域。即,当运动图810的与第一内核830的中央区域830c的外围区域对应的区域中所包括的标志信息的第一值的数量超过基准数量时,运动区域检测器133可利用第一值填充关于空区域811c的标志信息。此外,当包括在运动图810的与第一内核830的中央区域830c的外围区域对应的区域中的标志信息的第一值的数量等于或小于基准数量时,运动区域检测器133可利用第二值填充关于运动图810的空区域811c的标志信息。
参照图8B,例如,基准数量可为1。例如,参照图8B的(1)至(3),当运动图810的与第一内核831、832或833的外围区域对应的区域中所包括的标志信息的第一值的数量超过基准数量1时,标志信息的第一值可填充在运动图810的与第一内核831、832或833的中央区域对应的空区域811c中。在另一示例中,参照图8B的(4)和(5),当运动图810的与第一内核834或835的外围区域对应的区域中所包括的标志信息的第一值的数量等于或小于基准数量1时,标志信息的第二值可填充在运动图810的与第一内核834或835的中央区域对应的空区域811c中。
然而,这仅是实施方式,基准数量可不同地修改并具体实现为2、3等。另外,基准值可根据包括在第二内核930中的区域的数量来确定。
参照图8C,根据实施方式,当第一内核830的中央区域830c对准在位于运动图810的边缘的区域上时,可能存在第一内核830的外围区域当中的一些外围区域不与运动图810的多个区域当中的任何区域交叠的情况。可使用包括在运动图810的与第一内核830的另一外围区域对应的区域中的标志信息。
在实施方式中,运动区域检测器133可将内核830的中央区域830c对准在运动图810的空区域813c上。当内核830的外围区域当中的任一个外围区域不与运动图810的多个区域之一对应时,运动区域检测器133可选择内核830的外围区域当中的位于这一个外围区域的方向相反的方向上的外围区域。例如,当内核830的在运动图810之外的外围区域是关于内核830的中央区域830c位于上方向上的上外围区域时,运动区域检测器133可选择关于内核830的中央区域830c位于下方向上的下外围区域。
运动区域检测器133可获取包括在运动图810的与下外围区域对应的下外围区域813b中的标志信息,作为关于运动图810的与内核830的上外围区域对应的上外围区域813t的标志信息。即,当关于与内核830的中央区域830c对应的空区域813位于上方向上的上外围区域813t不存在时,运动区域检测器133可复制关于相对于空区域813c位于下方向上的下外围区域813b的标志信息作为关于上外围区域813t的标志信息。
随后,运动区域检测器133可根据运动图810的与第一内核830的中央区域830c的外围区域对应的区域中所包括的标志信息的值来获取指示运动图810的空区域813c是运动区域和正常区域之一的标志信息。
此外,返回参照图8A,运动图810可包括第一区域810N和第二区域810M。假设第一区域810N包括实际没有发生对象的任何运动的区域,第二区域810M包括实际发生对象的运动的区域。第一区域810N可包括具有指示区域是正常区域的标志信息的区域和没有标志信息的空区域。第二区域810M可包括具有指示区域是运动区域的标志信息的区域和没有标志信息的空区域。由于短曝光像素值的信噪比(SNR)相对低于正常像素值的信噪比(SNR),所以使用短曝光像素值获取的标志信息可能不准确。另选地,运动图810可包括具有指示噪声区域815是运动区域的标志信息的噪声区域815。将参照图9A至图9C详细描述去除噪声区域815的方法。
图9A至图9C是示出根据本公开的实施方式的噪声滤波器的操作的图。
参照图9A至图9C,根据本公开的实施方式,噪声滤波器134可使用第二内核930从运动图910去除噪声。运动图910可包括第一区域910N和第二区域910M。假设第一区域910N可包括实际没有发生对象的任何运动的区域,第二区域910M包括实际发生对象的运动的区域。假设即使实际没有发生对象的任何运动,第一区域910N也包括具有指示噪声区域915是运动区域的标志信息的噪声区域915。噪声滤波器134可使用第二内核930来获取从关于运动图910的噪声区域915的标志信息校正的最终运动图950。为此,噪声滤波器134可确定运动标志区域是否是噪声区域,并且当确定运动标志区域是噪声区域时,将运动标志区域校正为正常标志区域。即,当确定具有标志信息的第一值的区域是噪声区域时,对应区域的标志信息的值可被校正为第二值。
具体地,噪声滤波器134可允许第二内核930的中央区域930c对应于运动图910的多个区域当中的运动标志区域911c。运动标志区域911c可以是具有指示区域是运动区域的标志信息的区域。例如,运动区域检测器133可将第二内核930对准,使得第二内核930的中央区域930c与运动图910的多个区域当中的运动标志区域911c交叠。
第二内核930可包括根据预定布置形式布置的外围区域和中央区域930c。在实施方式中,包括在第二内核930中的外围区域可包括关于中央区域930c在上方向、下方向、左方向和右方向上最接近包括在第二内核930中的中央区域930c的区域。即,第二内核930可包括根据交叉布置形式布置的多个区域。然而,这仅是实施方式,外围区域的布置形式和数量可不同地修改并具体实现。
根据运动图910的多个区域当中的与第二内核930的中央区域930c的外围区域对应的运动标志区域911c的外围区域中所包括的标志信息的值,噪声滤波器134可维持包括在运动标志区域911c中的标志信息或将包括在运动标志区域911c中的标志信息改变为指示标志区域911c是正常区域的标志信息。
根据实施方式,当运动图910的多个区域当中的与第二内核930的中央区域930c的外围区域对应的外围区域中所包括的指示运动标志区域911c的外围区域是运动区域的标志信息的第一值的数量超过基准数量时,噪声滤波器134可维持包括在运动标志区域911c中的标志信息。包括在运动标志区域911c中的标志信息可维持为第一值。
根据实施方式,当运动图910的多个区域当中的与第二内核930的中央区域930c的外围区域对应的运动标志区域911c的外围区域中所包括的指示运动标志区域911c的外围区域是运动区域的标志信息的第一值的数量等于或小于基准数量时,噪声滤波器134可将包括在运动标志区域911c中的标志信息改变为指示运动标志区域911c是正常区域的标志信息。包括在运动标志区域911c中的标志信息可从第一值改变为第二值。
参照图9B,例如,基准数量可为1。例如,参照图9B的(1)至(3),当运动图910的与第二内核931、932或933的外围区域对应的外围区域中所包括的标志信息的第一值的数量超过基准数量1时,包括在与第二内核941、942或943的中央区域对应的运动标志区域中的标志信息的第一值可维持相等。在另一示例中,参照图9B的(4)和(5),当运动图910的与第二内核934或935的外围区域对应的区域中所包括的标志信息的第一值的数量等于或小于基准数量1时,与第二内核944或945的中央区域对应的运动标志区域中所包括的标志信息的第一值可改变为第二值。
然而,这仅是实施方式,基准数量可不同地修改并具体实现为2、3等。另外,基准数量可根据包括在第二内核930中的区域的数量来确定。
参照图9C,根据实施方式,当第二内核930的中央区域930c对准在位于运动图910的边缘的区域上时,可能存在第二内核930的外围区域当中的一些外围区域不与运动图910的多个区域当中的任何区域交叠的情况。可使用运动图910的与第二内核930的另一外围区域对应的区域中所包括的标志信息。
在实施方式中,噪声滤波器134可将第二内核930的中央区域930c对准在运动图910的运动标志区域913c上。当第二内核930的外围区域当中的任一个外围区域不与运动图910的多个区域之一对应时,噪声滤波器134可选择第二内核930的外围区域当中的位于这一个外围区域的方向相反的方向上的外围区域。例如,当第二内核930的在运动图910之外的外围区域是关于第二内核930的中央区域930c位于左方向上的左外围区域时,噪声滤波器134可选择关于第二内核930的中央区域930c位于右方向上的右外围区域。
噪声滤波器134可获取运动图910的与第二内核930的右外围区域对应的右外围区域913r中所包括的标志信息作为运动图910的与第二内核930的左外围区域对应的左外围区域913l上的标志信息。即,当关于与第二内核930的中央区域930c对应的运动标志区域913c位于左方向上的左外围区域913l不存在时,噪声滤波器134可复制关于相对于运动标志区域913c位于右方向上的右外围区域913r的标志信息作为关于左外围区域193l的标志信息。
随后,根据运动图910的与第二内核930的中央区域930c的外围区域对应的外围区域中所包括的标志信息的值,噪声滤波器134可维持包括在运动标志区域911c中的标志信息或将包括在运动标志区域911c中的标志信息改变为指示运动标志区域911是正常区域的标志信息。
图10A至图10C是示出根据本公开的实施方式的像素校正器的操作的图。
参照图10A和图10B,根据本公开的实施方式,像素校正器125可使用图像1010和运动图1020获取恢复图像1030。
图像1010可以是处于具有短曝光像素值sPV的状态或具有从短曝光像素值sPV校正的校正像素值的状态的图像。运动图1020可以是处于具有不存在标志信息的空区域的状态、没有空区域的状态或者去除噪声区域的状态的运动图。以下,假设并描述图像1010是处于具有短曝光像素值sPV的状态的图像,运动图1020是处于标志信息填充在空区域中的状态(即,没有空区域的状态)的运动图。此外,图10A的(2)所示的运动图1020表示以像素值为单位具有对应标志信息的状态。然而,这仅是实施方式,运动图1020可按照以区域为单位具有标志信息的形式实现。恢复图像1030可包括正常像素值和恢复像素值。恢复图像1030可以是包括在图像中的短曝光像素值被替换为恢复像素值的图像。
具体地,像素校正器135可基于包括在运动图1020中的标志信息来获取从包括在图像1010中的短曝光像素值sPV校正的恢复像素值iPV或cPV。例如,像素校正器135可基于具有与短曝光像素值sPV相同的位置的标志信息来获取根据第一方式或第二方式从短曝光像素值sPV校正的恢复像素值iPV或cPV。另选地,像素校正器135可基于关于与具有短曝光像素值sPV的所选区域相同的区域的标志信息来获取根据第一方式或第二方式从包括在所选区域中的短曝光像素值sPV校正的恢复像素值iPV或cPV。
图像1010可包括多个区域。例如,各个区域可包括根据2×2的布置方式布置的像素值。各个区域可包括相同颜色的像素值。
像素校正器135可选择具有短曝光像素值sPV的区域作为所选区域。例如,具有第一短曝光像素值1011C的区域可被选为第一所选区域,具有第二短曝光像素值1013C的区域可被选为第二所选区域。例如,第一所选区域可以是在位置(3,3)至(4,4)处布置有像素值的区域,第二所选区域可以是在位置(5,5)至(6,6)处布置有像素值的区域。
在实施方式中,当关于第一所选区域的标志信息1021C具有指示运动区域的第一值时,像素校正器135可使用第一短曝光像素值1011C的外围像素值来获取从包括在第一所选区域中的第一短曝光像素值1011C校正的第一恢复像素值1031C。
在特定实施方式中,当关于第一所选区域的标志信息1021C具有指示运动区域的第一值时,像素校正器135可选择正常像素值PV当中的具有与第一短曝光像素值1011C相同的颜色的正常像素值。例如,当第一短曝光像素值1011C具有绿色时,可选择具有绿色的正常像素。
另外,像素校正器135可获取根据所选正常像素值当中的在多个方向上最接近第一短曝光像素值1011C的外围正常像素值与第一短曝光像素值1011C之间的距离和外围正常像素值的权重和的值作为第一恢复像素值1031C。
例如,参照图10A和图10B,外围正常像素值可包括关于第一短曝光像素值1011C位于上方向上的上像素值1031T、位于下方向上的下像素值1031B、位于左方向上的左像素值1031L以及位于右方向上的右像素值1031R。
像素校正器135可根据上像素值1031T和第一短曝光像素值1011C之间的距离来确定上像素值1031T的第一权重值。像素校正器135可根据下像素值1031B和第一短曝光像素值1011C之间的距离来确定下像素值1031B的第二权重值。像素校正器135可根据左像素值1031L和第一短曝光像素值1011C之间的距离来确定左像素值1031L的第三权重值。像素校正器135可根据右像素值1031R和第一短曝光像素值1011C之间的距离来确定右像素值1031R的第四权重值。各个权重可被确定为随着距离增大而变小的值。另外,如图10B的(3)所示,像素校正器135可获取根据通过将上像素值1031T乘以第一权重值而获得的值、通过将下像素值1031B乘以第二权重值而获得的值、通过将左像素值1031L乘以第三权重值而获得的值以及通过将右像素值1031R乘以第四权重值而获得的值之和的值作为第一恢复像素值1031C。
如上所述,由于运动区域是由于对象的运动而表现为模糊的区域,所以包括在运动区域中的短曝光像素值使用短曝光像素值的外围像素值的插值不会对图像质量的劣化有影响。
此外,如图10B的(2)所示,当关于第二所选区域的标志信息1023C具有指示正常区域的第二值时,像素校正器135可使用通过将第二短曝光像素值1013C乘以曝光比而获得的值来获取从包括在第二所选区域中的第二短曝光像素值1013校正的第二恢复像素值1033C。曝光比可以是感测正常像素值的第一曝光时间ET_N与感测短曝光像素值的第二曝光时间ET_S之比。
参照图10A和图10C,根据实施方式,当关于具有第三短曝光像素值的第三所选区域的标志信息表示第三所选区域是运动区域,并且第三所选区域是位于图像1010的边缘的区域时,可能存在关于第三短曝光像素值在多个方向当中的特定方向上的任何正常像素值不存在的情况。特定方向的相反方向上的外围正常像素值可用作特定方向上的外围正常像素值。多个方向可包括上方向、下方向、左方向和右方向。
在实施方式中,当关于第三所选区域的标志信息1021C具有指示运动区域的第一值时,像素校正器135可选择多个像素值当中的与包括在第三所选区域中的第三短曝光像素值相同颜色的正常像素值。例如,第三短曝光像素值和所选正常像素值可以是绿色的像素值。
另外,当所选正常像素值当中的在多个方向当中的任一方向上最接近第三短曝光像素值的任何第一像素值不存在时,像素校正器135可获取在这一个方向的相反方向上最接近第三短曝光像素值的第二像素值作为第一像素值。
例如,假设第三所选区域包括位于(7,7)至(8,8)的像素值,并且包括在第三所选区域中的短曝光像素值位于(8,8)。关于短曝光像素值具有相同颜色的外围像素值可包括在上方向上位于(7,8)的上像素值1043T以及在左方向上位于(8,7)的左像素值1043L。另外,关于短曝光像素值位于下方向上的下像素值1043B和关于短曝光像素值位于右方向上的右像素值1043R可能不存在。像素校正器135可获取关于包括在第三所选区域中的短曝光像素值位于下像素值1043B的方向相反的方向上的上像素值1043T作为下像素值1043B。另外,像素校正器135可获取关于包括在第三所选区域中的短曝光像素值位于右像素值1043R的方向相反的方向上的左像素值1043L作为右像素值1043R。
另外,如图10C的(2)所示,像素校正器135可根据上像素值1043T、下像素值1043B、左像素值1043L和右像素值1043R中的每一个与第三短曝光像素值之间的距离来确定各个权重值,并获取根据分别与上像素值1043T、下像素值1043B、左像素值1043L和右像素值1043R对应的权重值的权重和的值作为第三恢复像素值1043C。
运动区域和正常区域可使用短曝光像素值在彼此区分的同时被检测,并且短曝光像素值可根据具有短曝光像素值的区域是运动区域还是正常区域来通过另一方法恢复为准确像素值。因此,可恢复图像,而不会由于曝光时间之间具有差异的像素值而引起图像质量的劣化。
图11是示出根据本公开的实施方式的使用标志信息来压缩图像的方法的图。
参照图11,根据本公开的实施方式,图像传感器110可根据时间依次获取多个图像1110、1120和1130。多个图像1110、1120和1130中的每一个可包括表示对象的区域1111、1121或1131以及表示背景的区域1115、1125或1135。对象可处于在由图像1110、1120和1130中的每一个获得的时间段期间对象在右方向上移动的状态。另外,图像1110、1120和1130中的每一个可包括在第一曝光时间期间感测的正常像素值和在第二曝光时间期间感测的短曝光像素值。
处理器130可使用包括在图像1110、1120和1130中的每一个中的短曝光像素值和正常像素值来生成关于图像1110、1120和1130中的每一个的运动图。运动图可包括指示图像1110、1120和1130的多个区域中的每一个是运动区域或正常区域的标志信息。
处理器130可生成通过利用关于图像1110、1120和1130中的每一个包括在运动图中的标志信息压缩图像1110、1120和1130而获得的一个视频数据。例如,处理器130可基于关于多个区域中的每一个的标志信息的值来确定图像1110、1120和1130的多个区域中的每一个是运动区域还是正常区域。另外,处理器130可通过去除图像1110、1120和1130的像素值当中的除了包括在正常区域中的代表性像素值之外的其它像素值来生成视频数据。如上所述,准确地检测运动区域和正常区域,从而可在改进数据压缩率的同时改进图像质量。
图12是示出根据本公开的实施方式的电子设备的操作方法的图。
电子设备100的操作方法可包括:步骤S1210,获取包括在第一曝光时间期间感测的正常像素值和在比第一曝光时间短的第二曝光时间期间感测的短曝光像素值的图像;步骤S1220,使用第一曝光时间和第二曝光时间的曝光比并且使用包括在图像的多个区域当中的所选区域中的短曝光像素值和正常像素值来获取指示所选区域是运动区域和正常区域之一的标志信息;以及步骤S1230,基于标志信息输出包括从所选区域中所包括的短曝光像素值校正的恢复像素值的恢复图像。
具体地,可获取图像,其包括正常像素值和短曝光像素值(S1210)。正常像素值可以是在第一曝光时间期间感测的像素值。短曝光像素值可以是在比第一曝光时间短的第二曝光时间期间感测的像素值。
另外,使用第一曝光时间和第二曝光时间的曝光比以及包括在图像的多个区域当中的所选区域中的短曝光像素值和正常像素值指示所选区域是运动区域和正常区域之一的标志信息(S1220)。
图像的多个区域中的每一个可以是具有相同大小的区域。多个区域中的每一个可包括相同数量的像素值。所选区域可以是多个区域当中的包括至少一个短曝光像素值的区域。运动区域可表示像素值根据时间的改变由于对象的运动而较大的区域。正常区域可表示由于不存在对象的运动,所以像素值根据时间的改变较小的区域。
在实施方式中,可获取校正图像,其包括使用曝光比从短曝光像素值校正的校正像素值和正常像素值。校正图像可以是图像的一些像素值改变的图像。另选地,校正图像可以是与图像分开生成的图像。校正图像的多个区域和图像的多个区域可彼此对应。
另外,可获取运动比率,其表示包括在与校正图像的多个区域当中的所选区域对应的区域中的正常像素值的平均值与包括在区域中的校正像素值的平均值的比率。另外,可基于运动比率获取标志信息,其表示所选区域是运动区域和正常区域之一。
在实施方式中,当运动比率与第一基准值之间的差的大小值超过第二基准值时,可获取标志信息,其包括指示所选区域是运动区域的第一值。另外,当运动比率和第一基准值之间的差的大小值等于或小于第二基准值时,可获取标志信息,其包括指示所选区域是正常区域的第二值。例如,第一基准值可为1,第二基准值可为0.3。然而,这仅是实施方式,第一基准值和第二基准值可被修改并具体实现为各种值。
另外,可基于标志信息输出包括从所选区域中所包括的短曝光像素值校正的恢复像素值的恢复图像(S1230)。
在实施方式中,当标志信息表示所选区域是运动区域时,可根据第一方式使用短曝光像素值获取恢复像素值。
在实施方式中,可选择正常像素值当中的与包括在所选区域中的短曝光像素值相同颜色的正常像素值。可获取根据所选正常像素值当中的在多个方向上最接近短曝光像素值的外围正常像素值与短曝光像素值之间的距离和外围正常像素值的权重和的值作为恢复像素值。
此外,当所选正常像素值当中的在多个方向当中的任一个方向上最接近短曝光像素值的第一外围正常像素值不存在时,可获取在这一个方向的相反方向上最接近的第二外围正常像素值作为第一外围正常像素值。
在实施方式中,当标志信息表示所选区域是正常区域时,可根据第二方式使用短曝光像素值获取恢复像素值。可获取通过将包括在所选区域中的短曝光像素值乘以曝光比而获得的值作为恢复像素值。
在实施方式中,内核的中央区域可对应于多个区域当中的不存在标志信息的空区域,并且可根据多个区域当中的与内核的中央区域的外围区域对应的区域中所包括的标志信息的数量获取指示空区域是运动区域和正常区域之一的标志信息。
内核的中央区域可对应于多个区域当中的包括指示区域是运动区域的标志信息的运动标志区域。根据表示多个区域当中的与内核的外围区域对应的区域和包括在运动标志区域中的运动区域的标志信息的数量,包括在运动标志区域中的标志信息可被维持或改变为指示多个区域当中的区域是正常区域的标志信息。
图13是示出根据本公开的实施方式的电子设备的实现示例的图。
参照图13,电子设备10可被实现为计算系统2000。计算系统2000可包括图像传感器2010、处理器2020、存储装置2030、存储器装置2040、输入/输出(I/O)装置2050和显示装置2060。尽管图13中未示出,计算系统2000还可包括能够与存储装置2030、存储器装置2040、I/O装置2050、显示装置2060等通信或与外部装置通信的端口。
图像传感器2010可获取包括单独地应用曝光值的多个像素的图像。图像传感器2010可通过地址总线、控制总线和数据总线或与其不同的通信线连接至处理器2020,以执行通信。
图像传感器2010可利用各种类型的封装来实现。例如,图像传感器2010的至少一些部件可使用诸如叠层封装(PoP)、球栅阵列(BGA)、芯片级封装(CSP)、塑料引线芯片载体(PLCC)、塑料双列直插封装(PDIP)、华夫封装中管芯、晶圆形式的管芯、板上芯片(COB)、陶瓷双列直插封装(CERDIP)、塑料公制四方扁平封装(MQFP)、薄四方扁平封装(TQFP)、小外形集成电路(SOIC)、收缩小外形封装(SSOP)、薄型小外形封装(TSOP)、系统级封装(SIP)、多芯片封装(MCP)、晶圆级制造封装(WFP)或晶圆级处理层叠封装(WSP)的封装来实现。在一些实施方式中,图像传感器2010可与处理器2020一起集成在一个芯片中,或者图像传感器2010和处理器2020可被集成在不同的芯片中。
处理器2020可包括中央处理单元(CPU)、应用处理单元(APU)、图形处理单元(GPU)等中的至少一个。
处理器2020可通过地址总线、控制总线和数据总线连接至存储装置2030、存储器装置2040和I/O装置2050,以执行通信。根据本公开的实施方式,处理器2020也可连接至诸如外围组件互连(PCI)总线的扩展总线。
存储装置2030可存储具有图像、运动图等的数据。不仅当计算系统2000被驱动时,而且当计算系统2000未被驱动时,也可保存存储在存储装置2030中的数据。例如,存储装置2030可利用诸如闪存装置、固态驱动器(SSD)、硬盘驱动器(HDD)和光盘的所有类型的非易失性存储器装置中的至少一种来配置。
存储器装置2040可存储具有图像、运动图等的数据。存储器装置2040可暂时存储要由处理器2020处理的数据或者暂时存储由处理器2020处理的数据。仅当计算系统2000被驱动时,存储在存储器装置2040中的数据才可保存。另选地,不仅当计算系统2000被驱动时,而且当计算系统2000未被驱动时,也可保存存储在存储器装置2040中的数据。例如,存储器装置2040可包括诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)的易失性存储器装置以及诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存装置的非易失性存储器装置。
I/O装置2050可包括输入装置和输出装置。输入装置是能够通过交互输入用户命令的装置,并且可被实现为例如键盘、键区、鼠标、麦克风等。输出装置是能够输出数据的装置,并且可被实现为打印机、扬声器等。
显示装置2060是视觉输出图像的装置。为此,显示装置2060可利用各种类型的显示器来实现,例如使用单独的背光单元(例如,发光二极管(LED)等)作为光源来控制液晶的分子排列,从而调节从背光单元发射的光透射通过液晶的程度(光的亮度或光的强度)的液晶显示器(LCD),以及使用自发光元件(例如,尺寸为100μm至200μm的迷你LED、大小为100μm或更小的微型LED、有机LED(OLED)、量子点LED(QLED)等)作为光源的显示器。显示装置2060可向外部发射与输出图像对应的红色、绿色和蓝色的光。
根据本公开,可提供一种能够检测包括在一个图像中的运动区域的电子设备和该电子设备的操作方法。
根据本公开,可检测包括在当前图像中的运动区域而无需任何先前图像。因此,用于存储先前图像的存储器空间和功耗可降低。此外,噪声可减少,从而检测更准确的运动区域。
尽管参考其某些示例性实施方式示出和描述了本公开,但本领域技术人员将理解,在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下,可对其进行各种形式和细节上的改变。因此,本公开的范围不应限于上述示例性实施方式,而是应该不仅由所附权利要求,而且由其等同物确定。
在上述实施方式中,所有步骤可选择性地执行,或者部分步骤可被省略。在各个实施方式中,步骤未必根据所描述的顺序执行,并且可重新布置。本说明书和附图中公开的实施方式仅是为了方便理解本公开的示例,本公开不限于此。即,对于本领域技术人员而言应该显而易见的是,可基于本公开的技术范围进行各种修改。
此外,在附图和说明书中描述了本公开的示例性实施方式。尽管这里使用了特定术语,但这些仅是为了说明本公开的实施方式。因此,本公开不限于上述实施方式,可在本公开的精神和范围内进行许多变化。对于本领域技术人员而言应该显而易见的是,除了本文所公开的实施方式之外,可基于本公开的技术范围进行各种修改。
相关申请的交叉引用
本申请要求在韩国知识产权局于2021年7月13日提交的韩国专利申请号10-2021-0091844和于2021年9月24日提交的韩国专利申请号10-2021-0126344的优先权,其完整公开通过引用并入本文。
Claims (20)
1.一种电子设备,该电子设备包括:
图像传感器,该图像传感器获取图像,该图像包括在第一曝光时间期间感测的正常像素值和在比所述第一曝光时间短的第二曝光时间期间感测的短曝光像素值;以及
处理器,该处理器:
通过使用所述第一曝光时间与所述第二曝光时间的曝光比并且通过使用包括在所述图像的多个区域当中的所选区域中的短曝光像素值和正常像素值,获取指示所述所选区域是运动区域和正常区域之一的标志信息;并且
基于所述标志信息来输出包括从所述所选区域中所包括的所述短曝光像素值校正的恢复像素值的恢复图像。
2.根据权利要求1所述的电子设备,其中,所述处理器包括曝光校正器,该曝光校正器获取包括使用所述曝光比从所述短曝光像素值校正的校正像素值和所述正常像素值的校正图像。
3.根据权利要求2所述的电子设备,其中,所述处理器包括:
运动比率计算器,该运动比率计算器获取运动比率,该运动比率表示所述校正图像的多个区域当中的与所述所选区域对应的区域中所包括的正常像素值的平均值与包括在所述区域中的校正像素值的平均值的比率;以及
运动区域检测器,该运动区域检测器基于所述运动比率来获取指示所述所选区域是所述运动区域和所述正常区域之一的所述标志信息。
4.根据权利要求3所述的电子设备,其中,所述运动区域检测器:
当所述运动比率与第一基准值之间的差的大小值超过第二基准值时,获取具有指示所述所选区域是所述运动区域的第一值的所述标志信息;并且
当所述大小值等于或小于所述第二基准值时,获取具有指示所述所选区域是所述正常区域的第二值的所述标志信息。
5.根据权利要求1所述的电子设备,其中,所述处理器包括像素校正器,该像素校正器:
当所述标志信息表示所述所选区域是所述运动区域时,选择所述正常像素值当中的与包括在所述所选区域中的所述短曝光像素值相同颜色的正常像素值,并且
基于所选正常像素值当中的在多个方向上最接近所述短曝光像素值的各个外围正常像素值与所述短曝光像素值之间的距离和所述外围正常像素值的权重和来获取所述恢复像素值。
6.根据权利要求5所述的电子设备,其中,所述多个方向包括上方向、下方向、左方向和右方向,并且
其中,当所述所选正常像素值当中的在所述多个方向当中的任一个方向上最接近所述短曝光像素值的第一像素值不存在时,所述像素校正器获取在所述一个方向的相反方向上最接近所述短曝光像素值的第二像素值作为所述第一像素值。
7.根据权利要求5所述的电子设备,其中,当所述标志信息指示所述所选区域是所述正常区域时,所述像素校正器获取通过将包括在所述所选区域中的所述短曝光像素值乘以所述曝光比而获得的值作为所述恢复像素值。
8.根据权利要求1所述的电子设备,其中,所述处理器包括运动区域检测器,该运动区域检测器:
允许包括在第一内核中的所述多个区域当中的中央区域与不存在所述标志信息的空区域交叠,并且
根据包括在所述第一内核中的所述多个区域当中的与所述中央区域的外围区域对应的所述空区域的外围区域中所包括的标志信息的第一值的数量,获取指示所述空区域是所述运动区域和所述正常区域之一的标志信息。
9.根据权利要求8所述的电子设备,其中,所述处理器包括噪声滤波器,该噪声滤波器:
允许包括在第二内核中的所述多个区域当中的中央区域与具有指示所述所选区域是所述运动区域的所述标志信息的运动标志区域交叠,并且
根据包括在所述第二内核中的所述多个区域当中的与所述中央区域的外围区域对应的所述运动标志区域的外围区域中所包括的标志信息的第一值的数量,维持包括在所述运动标志区域中的所述标志信息或将包括在所述运动标志区域中的所述标志信息改变为指示所述所选区域是所述正常区域的标志信息。
10.根据权利要求8所述的电子设备,其中,包括在所述第一内核或第二内核中的所述外围区域包括关于所述第一内核或所述第二内核的所述中央区域位于上方向、下方向、左方向和右方向上的区域。
11.一种操作电子设备的方法,该方法包括以下步骤:
获取图像,该图像包括在第一曝光时间期间感测的正常像素值和在比所述第一曝光时间短的第二曝光时间期间感测的短曝光像素值;
通过使用所述第一曝光时间与所述第二曝光时间的曝光比并且通过使用包括在所述图像的多个区域当中的所选区域中的短曝光像素值和正常像素值,获取指示所述所选区域是运动区域和正常区域之一的标志信息;以及
基于所述标志信息来输出包括从所述所选区域中所包括的所述短曝光像素值校正的恢复像素值的恢复图像。
12.根据权利要求11所述的方法,其中,获取所述标志信息的步骤包括:
获取包括使用所述曝光比从所述短曝光像素值校正的校正像素值和所述正常像素值的校正图像;
获取运动比率,该运动比率指示所述校正图像的多个区域当中的与所述所选区域对应的区域中所包括的正常像素值的平均值与包括在所述区域中的校正像素值的平均值的比率;以及
基于所述运动比率来获取指示所述所选区域是所述运动区域和所述正常区域之一的所述标志信息。
13.根据权利要求12所述的方法,其中,获取所述标志信息的步骤包括:
当所述运动比率与第一基准值之间的差的大小值超过第二基准值时,获取具有指示所述所选区域是所述运动区域的第一值的所述标志信息;以及
当所述大小值等于或小于所述第二基准值时,获取具有指示所述所选区域是所述正常区域的第二值的所述标志信息。
14.根据权利要求11所述的方法,其中,输出所述恢复图像的步骤包括:
当所述标志信息指示所述所选区域是所述运动区域时,根据第一方式使用所述短曝光像素值来获取所述恢复像素值;以及
当所述标志信息指示所述所选区域是所述正常区域时,根据第二方式使用所述短曝光像素值来获取所述恢复像素值。
15.根据权利要求14所述的方法,其中,根据所述第一方式使用所述短曝光像素值来获取所述恢复像素值的步骤包括:
选择所述正常像素值当中的与包括在所述所选区域中的所述短曝光像素值相同颜色的正常像素值;以及
基于所选正常像素值当中的在多个方向上最接近所述短曝光像素值的各个外围正常像素值与所述短曝光像素值之间的距离和所述外围正常像素值的权重和来获取所述恢复像素值。
16.根据权利要求14所述的方法,该方法还包括以下步骤:
当所述所选正常像素值当中的在多个方向当中的任一个方向上最接近所述短曝光像素值的第一像素值不存在时,获取在所述一个方向的相反方向上最接近所述短曝光像素值的第二像素值作为所述第一像素值。
17.根据权利要求14所述的方法,其中,在根据所述第二方式使用所述短曝光像素值获取所述恢复像素值的步骤中,获取通过将包括在所述所选区域中的所述短曝光像素值乘以所述曝光比而获得的值作为所述恢复像素值。
18.根据权利要求11所述的方法,该方法还包括以下步骤:
允许包括在内核中的所述多个区域当中的中央区域与不存在所述标志信息的空区域对应,并且根据所述多个区域当中的与所述内核的所述中央区域的外围区域对应的区域中所包括的标志信息的值,获取指示所述空区域是所述运动区域和所述正常区域之一的标志信息;以及
允许所述中央区域与所述多个区域当中的具有指示所述所选区域是所述运动区域的所述标志信息的运动标志区域对应,并且根据所述多个区域当中的与所述运动标志区域的所述外围区域对应的区域中所包括的指示所述所选区域是所述运动区域的所述标志信息的值,维持包括在所述运动标志区域中的所述标志信息或将包括在所述运动标志区域中的所述标志信息改变为指示所述所选区域是所述正常区域的标志信息。
19.一种电子设备,该电子设备包括:
通信接口,该通信接口从外部装置接收图像,该图像包括在不同曝光时间期间感测的正常像素值和短曝光像素值;以及
处理器,该处理器:
通过使用所述曝光时间的曝光比并且通过使用包括在所述图像的多个区域当中的所选区域中的短曝光像素值和正常像素值,确定所述所选区域是运动区域还是正常区域;并且
当所述所选区域是所述运动区域时,通过使用所述短曝光像素值的外围像素值来获取从所述短曝光像素值校正的第一恢复像素值,并且当所述所选区域是所述正常区域时,获取使用所述曝光比从所述短曝光像素值校正的第二恢复像素值。
20.根据权利要求19所述的电子设备,其中,所述短曝光像素值的数量小于所述正常像素值的数量,并且
其中,所述短曝光像素值的颜色为绿色。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20210091844 | 2021-07-13 | ||
KR10-2021-0091844 | 2021-07-13 | ||
KR10-2021-0126344 | 2021-09-24 | ||
KR1020210126344A KR20230011198A (ko) | 2021-07-13 | 2021-09-24 | 전자 장치 및 그 동작 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115695987A true CN115695987A (zh) | 2023-02-03 |
Family
ID=84890652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210484314.8A Pending CN115695987A (zh) | 2021-07-13 | 2022-05-06 | 电子设备及其操作方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11843868B2 (zh) |
CN (1) | CN115695987A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230232005A1 (en) * | 2022-01-18 | 2023-07-20 | Cisco Technology, Inc. | Representing color indices by use of constant partitions |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7474767B2 (en) | 2003-09-24 | 2009-01-06 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Motion detection using multi-resolution image processing |
JP5061444B2 (ja) | 2005-09-20 | 2012-10-31 | ソニー株式会社 | 撮像装置及び撮像方法 |
US8379934B2 (en) * | 2011-02-04 | 2013-02-19 | Eastman Kodak Company | Estimating subject motion between image frames |
JP6172967B2 (ja) * | 2013-02-20 | 2017-08-02 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
JP7130777B2 (ja) | 2018-06-07 | 2022-09-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | シングルショットhdrカラーイメージセンサからのhdr画像生成 |
KR102648747B1 (ko) | 2019-01-18 | 2024-03-20 | 삼성전자주식회사 | Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법 |
-
2022
- 2022-03-21 US US17/700,079 patent/US11843868B2/en active Active
- 2022-05-06 CN CN202210484314.8A patent/CN115695987A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11843868B2 (en) | 2023-12-12 |
US20230020674A1 (en) | 2023-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200267296A1 (en) | Electronic device comprising plurality of cameras using rolling shutter mode | |
KR102581210B1 (ko) | 이미지 신호 처리 방법, 이미지 신호 프로세서 및 이미지 센서 칩 | |
CN111757030B (zh) | 预先形成分选的四单元图像传感器 | |
US11843868B2 (en) | Electronic apparatus based on multiple exposure image and operating method thereof | |
US20240127413A1 (en) | Image processing system for performing image quality tuning and method of performing image quality tuning | |
US11537438B2 (en) | Information processing apparatus, information processing method, and storage medium for efficient storage of kernels of various sizes | |
KR20180102988A (ko) | 이벤트 감지 장치 | |
US12022244B2 (en) | Electronic apparatus and operating method of the electronic apparatus | |
KR20230011198A (ko) | 전자 장치 및 그 동작 방법 | |
US11669935B2 (en) | Image processing device and operating method thereof | |
US20230109055A1 (en) | Electronic apparatus and operating method of the electronic apparatus | |
US11736812B2 (en) | Image sensing device for correcting image using block areas and method of operating the same | |
US20230064910A1 (en) | Electronic device and method of operating the same | |
US20230262328A1 (en) | Image processing system and operating method thereof | |
KR20130102402A (ko) | 영상 처리 장치 및 방법 | |
US20230231979A1 (en) | Image signal processor processing image data having non-bayer pattern and image processing device including same | |
US11962923B2 (en) | Image processing system and method of operating the same | |
US20240196111A1 (en) | Image sensor and operating method of image sensor | |
US20240163578A1 (en) | Image signal processor, image sensor, and operating method of the image sensor | |
KR102680354B1 (ko) | 이상 픽셀을 포함하는 센서로부터의 데이터를 처리하기 위한 프로세서 | |
TW202209887A (zh) | 影像壓縮方法、編碼器和電子裝置 | |
CN118175442A (zh) | 图像传感器和图像传感器的操作方法 | |
CN115460330A (zh) | 图像处理装置和图像感测装置 | |
CN117714622A (zh) | 图像信号处理装置、图像系统及其操作方法 | |
KR20230034877A (ko) | 이미징 장치 및 이미지 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |