CN113225493A - 图像传感器模块、其图像压缩方法及电子装置 - Google Patents

图像传感器模块、其图像压缩方法及电子装置 Download PDF

Info

Publication number
CN113225493A
CN113225493A CN202011610101.2A CN202011610101A CN113225493A CN 113225493 A CN113225493 A CN 113225493A CN 202011610101 A CN202011610101 A CN 202011610101A CN 113225493 A CN113225493 A CN 113225493A
Authority
CN
China
Prior art keywords
image
data
images
value
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011610101.2A
Other languages
English (en)
Inventor
许银斗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113225493A publication Critical patent/CN113225493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

一种图像传感器模块，包括：图像传感器，所述图像传感器模块被配置为，使所述图像传感器输出多幅图像，并且所述多幅图像具有彼此不同的多个曝光时间；参考图像选择器电路，基于参考亮度值，输出用于从所述多幅图像中选择参考图像的参考图像选择信息；以及，图像压缩器电路，基于所述参考图像选择信息，输出包括至少一个打包数据和所述参考图像在内的压缩图像数据。所述至少一个打包数据分别对应于所述多幅图像中所述参考图像之外的至少一幅剩余图像，并且基于对应图像的曝光时间与所述参考图像的曝光时间的比率生成。

Description

图像传感器模块、其图像压缩方法及电子装置
相关申请的交叉引用
本申请要求2020年2月5日在韩国知识产权局递交的韩国专利申请No.10-2020-0013735的权益，将其公开通过引用全部合并在此。
技术领域
本发明构思涉及图像传感器模块、图像传感器模块的图像压缩方法、以及电子装置，更具体地，涉及被配置为处理与多个曝光时间相对应的多曝光图像的图像的图像传感器模块、该图像传感器模块的图像压缩方法、以及电子装置。
背景技术
被配置为对图像进行处理的电子装置可以使用图像传感器获得原始图像数据，并且使用各种算法来对已获得的原始图像数据进行处理。
图像的动态范围是指图像中的最暗部分和最亮部分之间的亮度范围的差别。动态范围可以被定义为最亮像素的照度值和最暗像素的照度值(即，亮度)之间的比率。调整动态范围的过程可以包括：调整指示图像的亮度(例如，照度)的像素值。通过提高图像的动态范围来增加电影质量的技术可以被称为高动态范围(HDR)方法。
存在各种HDR方法，其包括以下方法：通过利用不同的曝光时间多次捕捉同一客体的图像而获得多曝光图像；以及对所述多曝光图像进行合成以增大例如相机中拍摄的图像的动态范围。
发明内容
本发明构思提供图像传感器模块、图像传感器模块的图像压缩方法、以及电子装置，它们可以将多曝光图像而不是合成图像提供给处理器，并且减少在处理器和图像传感器模块之间发送和接收的数据量。
根据本发明构思的示例性实施例，一种图像传感器模块，包括：图像传感器，所述图像传感器模块被配置为使所述图像传感器输出多幅图像，并且所述多幅图像具有彼此不同的多个曝光时间；参考图像选择器电路，基于参考亮度值，输出用于从所述多幅图像中选择参考图像的参考图像选择信息；以及图像压缩器电路，基于所述参考图像选择信息，输出包括至少一个打包数据和所述参考图像在内的压缩图像数据。所述至少一个打包数据分别对应于所述多幅图像中所述参考图像之外的至少一幅剩余图像，并且基于对应图像的曝光时间与所述参考图像的曝光时间的比率生成。
根据本发明构思的示例性实施例，一种图像传感器模块的图像压缩方法，包括：获得与多个曝光时间相对应的多幅图像；基于参考亮度值从所述多幅图像中选择参考图像；生成至少一个打包数据，所述至少一个打包数据分别对应于所述多幅图像中所述参考图像之外的至少一幅剩余图像，并且所述至少一个打包数据中的每一个包括指示校正参考图像和对应图像之间的差别的差异，所述校正参考图像对应于基于对应图像的曝光时间与所述参考图像的曝光时间的曝光时间比率所校正的参考图像；以及输出所述参考图像和所述至少一个打包数据作为压缩图像数据。
根据本发明构思的示例性实施例，一种电子装置包括：图像传感器模块，被配置为生成与多个曝光时间相对应的多幅图像，以及输出包括至少一个打包数据和从所述多幅图像中选择的参考图像在内的压缩图像数据，所述至少一个打包数据分别对应于所述参考图像之外的至少一幅剩余图像；以及处理器，被配置为，基于与所述参考图像、所述至少一个打包数据和所述多个曝光时间相关的信息，根据所述压缩图像数据来重构所述至少一幅剩余图像；以及基于所述参考图像和经重构的至少一幅剩余图像，生成高动态范围HDR图像。
附图说明
根据以下结合附图进行的详细描述，将更清楚地理解本发明构思的实施例，在附图中：
图1示出了根据示例实施例的电子系统；
图2示出了根据示例实施例的图像处理电路；
图3示出了多个根据示例实施例的与多个曝光时间相对应的曝光图像的图像；
图4示出了根据示例实施例的压缩图像数据；
图5是根据示例实施例的图像传感器模块的图像压缩方法的流程图；
图6示出了根据示例实施例的参考图像选择器电路和参考图像选择标准；
图7是根据示例实施例的图像传感器模块的生成打包数据的方法的流程图；
图8示出了根据示例实施例的第一打包数据；
图9是根据示例实施例的图像传感器模块的生成打包数据的方法的流程图；
图10A至图10D示出了根据示例实施例的基于多曝光图像生成压缩图像数据的过程的图；
图11示出了根据示例实施例的处理器；以及
图12是根据实施例的处理器的图像解压缩方法的流程图。
具体实施方式
现在将参考附图描述实施例。
图1示出了根据示例实施例的电子系统。电子系统10可以包括图像传感器100、图像处理电路200、存储器300、以及处理器400。图像传感器100、图像处理电路200、以及存储器300可以被设置为图像传感器模块50。电子系统10可以包括装置和系统，所述装置和系统被配置为捕捉和处理图像。例如，电子系统10可以被实现为包括图像传感器模块50和处理器400在内的电子装置，但是本发明构思不限于此。图像传感器模块50和处理器400中的每一个可以被设置为单独的装置。
这里，电子装置可以包括以下至少一项：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书(e-book)阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助手(PDA)、便携式多媒体播放器(PMP)、MPEG-1音频层3(MP3)播放器、移动医疗设备、相机和可穿戴设备。另外，电子装置可以包括智能家用电器。智能家用电器可以包括例如以下至少一项：电视(TV)、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、TV盒、游戏机、电子词典、电子钥匙、摄像机和电子相框。另外，电子装置可以包括各种医疗设备。各种医疗设备可以包括，例如，各种便携式医疗测量设备(例如，血糖仪、心率仪、血压仪、医用温度计等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、相机、超声装置等。
图像传感器100可以检测通过透镜入射的光，并感测每个像素的值，该值与亮度或颜色有关。图像传感器100可以获得基于感测值的图像并且输出已获得的图像。在实施例中，图像传感器100可以检测多个曝光时间期间的入射光，并且获得与所述多个曝光时间相对应的多幅图像。例如，图像传感器100可以基于相同的客体生成连续拍摄的多幅图像。多幅图像可以具有不同的曝光时间。所述多幅图像(即，所述多幅图像的集合)可以被统称为多曝光图像IMG_ME。换言之，多曝光图像IMG_ME可以包括具有不同曝光时间的多幅图像。图像传感器100可以将多曝光图像IMG_ME提供给图像处理电路200。在示例实施例中，图像传感器100可以包括互补金属氧化物半导体(CMOS)图像传感器。然而，图像传感器100不限于特定名称的传感器，而是可以包括所有类型的传感器，由于入射光，传感器能够感测与亮度或颜色有关的每个像素的值。
图像处理电路200可以处理包括多曝光图像IMG_ME的各幅图像，多曝光图像IMG_ME是由使用各种图像处理技术的图像传感器100提供的。例如，图像处理电路200可以压缩或编码各幅图像。例如，图像处理电路200可以压缩多曝光图像IMG_ME，并且生成压缩图像数据IMG_Comp。图像处理电路200可以将压缩图像数据IMG_Comp提供给处理器400。用于图像处理电路200处理图像的控制信息和/或图像数据中的至少一项可以存储在存储器300中。
作为被配置为存储数据的存储装置的存储器300可以存储例如各种图像处理算法、各种程序以及各种数据。存储器300可以包括易失性存储器和非易失性存储器中的至少一种。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、相变RAM(PRAM)、磁性RAM(MRAM)、电阻RAM(RRAM)和/或铁电RAM(FRAM)。易失性存储器可以包括动态RAM(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)、相变RAM(PRAM)、磁性RAM(MRAM)、电阻RAM(RRAM)、和/或铁电RAM(FeRAM)。此外，在实施例中，存储器300可以包括以下至少一项：硬盘驱动器(HDD)、固态驱动器(SSD)、高密度闪存(CF)、安全数字(SD)存储器、微SD存储器、迷你SD存储器、极限数字(xD)存储器和记忆棒。在实施例中，存储器300可以半永久地或暂时存储算法、程序、以及多个指令，它们由图像处理电路200执行。
根据示例实施例，图像处理电路200可以从多曝光图像IMG_ME中所包括的多幅图像中选择参考图像；生成与除了来自所述多幅图像中的参考图像之外的至少一幅剩余图像相对应的至少一项打包数据；以及，基于所述参考图像和所述至少一项打包数据，生成压缩图像数据IMG_Comp。在实施例中，图像处理电路200可以基于亮度值从所述多幅图像中选择参考图像。例如，当亮度值增大时，图像处理电路200可以选择与较短曝光时间相对应的参考图像。另外，在实施例中，图像处理电路200可以基于曝光时间比率、参考图像、以及对应图像，生成与所述对应图像相对应的打包数据。这里，曝光时间比率可以指示对应图像的曝光时间与参考图像的曝光时间的比率。在实施例中，打包数据可以包括饱和比特、符号比特、以及差异比特中的至少一项。在下文中将参考图4至图10D更详细地描述压缩图像数据IMG_Comp。
处理器400可以控制电子系统10的各种操作。作为示例，处理器400可以包括中央处理单元(CPU)或应用处理器(AP)。处理器400可以包括单核或多核。在实施例中，处理器400可以基于由图像传感器模块50提供的压缩图像数据IMG_Comp，重构与多个曝光时间相对应的多幅图像。例如，处理器400可以对压缩图像数据IMG_Comp进行解压缩并且重构与多个曝光时间相对应的多幅图像。处理器400可以通过使用压缩图像数据IMG_Comp中所包括的参考图像和至少一项打包数据，重构所述多幅图像。处理器400可以控制电子系统10的各种组件，以对例如多个重构图像执行后图像处理操作。例如，处理器400可以对多个重构图像进行合成，以生成高动态范围(HDR)图像，并且将HDR图像提供给电子系统10中所包括的显示单元(例如，显示器)，因此，可以将HDR图像显示给电子系统10的用户。
在根据示例实施例的电子系统10中，图像传感器模块50可以将与至少一幅剩余图像中的每一幅相对应的打包数据以及从与多个曝光时间相对应的多幅图像中选择的参考图像作为压缩图像数据IMG_Comp提供给处理器400。因此，处理器400可以获得与多个曝光时间相对应的多曝光图像IMG_ME，而不是仅获得合成图像，并且可以减少在图像传感器模块50和处理器400之间发送和接收的数据量。
图2示出了根据示例实施例的图像处理电路200。图像处理电路200可以与图1的图像处理电路200相对应，并且将省略与图1相同的描述。将参考图1来描述图2。
图像处理电路200可以包括同步器210、图像压缩器电路220、以及参考图像选择器电路240。在一些实施例中，同步器210不被包括在图像处理电路200中。
图像处理电路200可以从图像传感器100接收多曝光图像IMG_ME。多曝光图像IMG_ME可以包括与多个曝光时间相对应的多幅图像IMG_1、...、以及IMG_N。这里，N是大于或等于2的自然数。例如，第N图像IMG_N可以是与比第一图像IMG_1的曝光时间长的曝光时间相对应的图像。在实施例中，多幅图像IMG_1、...、IMG_N可以具有不同的曝光时间。
同步器210可以同步多幅图像IMG_1、...、以及IMG_N的相位。例如，处于原始图像数据的状态的多幅图像IMG_1、...、以及IMG_N，可以具有彼此不相等的相位，并且同步器210可以同步多幅图像IMG_1、...、以及IMG_N的相位。同步器210可以将相位已被同步的多幅图像IMG_1、...、以及IMG_N提供给图像压缩器电路220。
参考图像选择器电路240可以基于亮度值BV，将用于从多幅图像IMG_1、...、以及IMG_N之中选择参考图像的参考图像选择信息RI_Info提供给图像压缩器电路220。例如，参考图像选择信息RI_Info可以包括：指示图像压缩器电路220从多幅图像IMG_1、...、以及IMG_N之中选择哪幅图像作为参考图像的信息。在实施例中，亮度值BV可以从图像传感器模块50的外部提供。例如，亮度值BV可以从处理器400提供。然而，本发明构思不限于此，并且亮度值BV可以在图像传感器模块50内部生成。例如，图像处理电路200可以生成通过使用多幅图像IMG_1、...、以及IMG_N的像素值中的至少一些生成亮度值BV。在实施例中，作为对第一亮度值的亮度值BV的响应，参考图像选择器电路240可以输出用于从多幅图像IMG_1、...、以及IMG_N之中选择第一图像IMG_1作为参考图像的参考图像选择信息RI_Info。作为对比第一亮度值低的第二亮度值的亮度值BV的响应，参考图像选择器电路240可以输出用于从多幅图像IMG_1、...、以及IMG_N之中选择第二图像IMG_2作为参考图像的参考图像选择信息RI_Info。这里，第二图像IMG_2可以与比第一图像IMG_1的曝光时间长的曝光时间相对应。在实施例中，参考图像选择器电路220可以接收亮度值BV，并且可以基于亮度值BV输出参考图像选择信息RI_Info。利用基于较高亮度值生成的参考图像选择信息，可以选择具有较短曝光时间的图像作为参考图像。在实施例中，参考图像选择器电路240可以基于包括与多个亮度值范围相对应的参考图像列表在内的参考表，生成参考图像选择信息RI_Info。在下文中将参考图6更详细地描述参考图像选择器电路240。
图像压缩器电路220可以基于参考图像选择信息RI_Info，从多幅图像IMG_1、...、以及IMG_N之中选择参考图像。图像压缩器电路220可以生成与除了多幅图像IMG_1、...、以及IMG_N中的参考图像之外的至少一幅剩余图像相对应的至少一项打包数据(即，至少一个打包数据)。图像压缩器电路220可以输出参考图像和至少一项打包数据。图像压缩器电路220可以输出包括参考图像和至少一项打包数据在内的压缩图像数据IMG_Comp。
图3示出了根据示例实施例的与多个曝光时间相对应的多曝光图像的图像。图3示出了其中的多曝光图像包括与3个曝光时间相对应的3幅图像的示例实施例。多曝光图像中所包括的图像的数量、和图像之间的亮度的比率不限于图3示出的那些。将参考图1和图2来描述图3。
多曝光图像IMG_ME可以包括第一图像IMG_1、第二图像IMG_2、以及第三图像IMG_3。第一图像IMG_1、第二图像IMG_2、以及第三图像IMG_3可以是基于不同的曝光时间获得的图像。例如，第一图像IMG_1的曝光时间可以比第二图像IMG_2的曝光时间的短，并且第二图像IMG_2的曝光时间可以比第三图像IMG_3的曝光时间短。例如，当第一图像IMG_1与第三图像IMG_3相比时，第一图像IMG_1的全部客体可以实质上与第三图像IMG_3的全部客体相同，并且可以看出，亮度可以与曝光时间成比例。例如，当第一图像IMG_1乘以第三图像IMG_3的曝光时间与第一图像IMG_1的曝光时间的比率时，相乘之后的第一图像IMG_1的亮度可以实质上与第三图像IMG_3的亮度类似。
根据示例实施例的图像处理电路200，可以使用多幅图像和曝光时间之间的线性来压缩图像。例如，当第一图像IMG_1被选择为参考图像时，图像压缩器电路220可以将第一图像IMG_1乘以第三图像IMG_3的曝光时间与第一图像IMG_1的曝光时间的比率，从相乘结果中减去第三图像IMG_3，并且生成与第三图像IMG_3相对应的第三原始差异数据。与第三图像IMG_3相对应的打包数据可以使用第三原始差异数据来生成。生成第三原始差异数据的方法可以应用到其他剩余图像IMG_2、IMG_4至IMG_N。由于多幅图像和曝光时间之间的线性性质，打包数据的容量可以远远小于每幅图像的容量。因此，在示例实施例中，可以减少在图像传感器模块50和处理器400之间发送和接收的数据量。
图4示出了根据示例实施例的压缩图像数据IMG_Comp。图4的压缩图像数据IMG_Comp可以与参考图1和图2描述的压缩图像数据IMG_Comp相对应。将省略压缩图像数据IMG_Comp的与图1和图2相同的描述。
压缩图像数据IMG_Comp可以包括参考图像IMG_Ref和至少一项打包数据。所述至少一项打包数据可以与多幅图像中的参考图像IMG_Ref之外的至少一幅剩余图像分别相对应。例如，当多曝光图像IMG_ME包括N幅图像时，压缩图像数据IMG_Comp可以包括与除了参考图像IMG_Ref之外的剩余图像相对应的N-1项打包数据。例如，压缩图像数据IMG_Comp可以包括第一打包数据DATA_Pack_1和第二至第N-1打包数据DATA_Pack_2至DATA_Pack_N-1。
将参考附图来更详细地描述每个打包数据的配置。
图5是根据示例实施例的图像传感器模块50的图像压缩方法的流程图。将参考图1、图2和图4来描述图5的流程图。
图像传感器模块50可以获得与多个曝光时间相对应的多幅图像。图像传感器模块50可以从所述多幅图像中选择参考图像(S120)。在实施例中，图像传感器模块50可以基于亮度值BV选择参考图像。例如，当亮度值BV增大时，图像传感器模块50可以从所述多幅图像中选择与较短曝光时间相对应的图像。当亮度值BV很大时，具有长的曝光时间的图像的像素值中的一些可能饱和的概率很高，因此，具有长的曝光时间的图像的可靠性可能降低。因此，与短的曝光时间相对应的图像可适于作为参考图像。类似地，当亮度值BV很低时，具有短的曝光时间的图像的可靠性可能降低，而具有长的曝光时间的图像的可靠性可能升高。因此，与长的曝光时间相对应的图像可适于作为参考图像。
图像传感器模块50可以基于曝光时间比率，生成与除了所述多幅图像中的参考图像之外的至少一幅剩余图像中的每一幅相关的对应打包数据(S140)。例如，图像压缩器电路220可以基于对应图像的曝光时间与参考图像的曝光时间的比率、参考图像、以及对应图像，生成打包数据。将参考图8至图10D更详细地描述打包数据的生成。
图像传感器模块50可以输出参考图像和至少一项打包数据，作为压缩图像数据DATA_Comp(S160)。例如，图像传感器模块50可以输出：具有如图4所示的形式(即，数据格式)的压缩图像数据DATA_Comp。
图6示出了根据示例实施例的参考图像选择器电路240和参考图像选择标准CRIT_RIS。将省略参考图像选择器电路240的与图1和图2相同的描述。将参考图1和图2来描述参考图像选择器电路240。
参考图像选择器电路240可以基于亮度值BV生成参考图像选择信息RI_Info。在实施例中，当亮度值BV增大时，参考图像选择器电路240可以生成用于选择与较短曝光时间相对应的图像作为参考图像的参考图像选择信息RI_Info。
在实施例中，参考图像选择器电路240可以基于参考图像选择准则CRIT_RIS生成参考图像选择信息RI_Info。参考图像选择准则CRIT_RIS可以包括表，该表包括与多个亮度值范围相对应的参考图像列表。
例如，第一图像IMG_1可以与小于或等于第一参考亮度值BV_ref_1的亮度值范围相对应。第二图像IMG_2可以与第二参考亮度值BV_ref_2和第一参考亮度值BV_ref_1之间的亮度值范围相对应。第三图像IMG_3可以与第三参考亮度值BV_ref_3和第二参考亮度值BV_ref_2之间的亮度值范围相对应。第N图像IMG_N可以与大于或等于第N-1参考亮度值BV_ref_N-1的亮度值范围相对应。
参考图像选择器电路240可以基于参考图像选择信息RI_Info和亮度值BV，生成用于选择参考图像的参考图像选择信息RI_Info。参考图像选择器电路240可以：从多个亮度值范围中确定包括亮度值BV的亮度值范围；以及，基于与已确定的亮度值范围相对应的参考图像列表，生成参考图像选择信息RI_Info。在非限制性示例中，当亮度值BV与第二参考亮度值BV_ref_2和第三参考亮度值BV_ref_3之间的值相对应时，参考图像选择器电路240可以生成用于选择第三图像IMG_3作为参考图像的参考图像选择信息RI_Info。
图7是根据示例实施例的图像传感器模块的生成打包数据的方法的流程图。具体地，图7示出图5的操作S140中的生成与至少一幅剩余图像中所包括的第一图像IMG_1相对应的第一打包数据的方法的流程图的示例。将参考图1和图2来描述图7。
图像传感器模块50可以将基于亮度值BV选择的参考图像乘以第一比率，并且获得第一校正参考图像(S220)。例如，图像压缩器电路220可以将参考图像乘以第一比率，第一比率指示第一图像IMG_1的曝光时间与参考图像的曝光时间的比率，并且获得第一校正参考图像。
图像传感器模块50可以从第一校正参考图像中减去第一图像IMG_1，并且获得第一原始差异数据(S240)。例如，图像压缩器电路220可以从在操作S220中获得的第一校正参考图像中减去第一图像IMG_1，并且获得第一原始差异数据。第一原始差异数据可以具有与第一图像IMG_1和参考图像具有相同的尺寸的矩阵的形式。由于参考图3描述的图像和曝光时间之间的线性，第一原始差异数据的每个元素值可以仅占用比第一图像IMG_1的每个元素值少的比特数。
图像传感器模块50可以基于第一原始差异数据来生成第一打包数据(S260)。例如，图像压缩器电路220可以基于第一原始差异数据来生成第一打包数据。在实施例中，第一打包数据可以包括：饱和数据，包括指示第一原始差异数据的元素值中的每一个是否超过阈值的饱和比特。在实施例中，第一打包数据可以包括：符号数据，包括指示第一原始差异数据的元素值中的每一个元素值是否小于零(“0”)的符号比特。在实施例中，第一打包数据可以包括第一差异数据，第一差异数据是第一原始差异数据的绝对值。在实施例中，第一打包数据可以包括：差异比特数据，包括指示被分配给差异数据的各个元素值的比特数的差异比特。在示例性实施例中，差异比特的值可以等于表示阈值的二进制比特的最大数量。例如，当阈值是15(二进制形式的1111)时，差异比特的值可以是4，其为用于表示差异数据的各个元素值的最大比特数。将参考图8更详细地描述根据实施例的第一打包数据。
图8示出了根据示例实施例的第一打包数据DATA_Pack_1。具体地，图8示出了根据实施例的参考图7描述的第一打包数据。将参考图1和图2来描述图8。
第一打包数据DATA_Pack_1可以包括饱和数据DATA_Sat、符号数据DATA_Sign、差异比特数据DATA_DB、以及差异数据DATA_Disparity。然而，本发明构思不限于此，并且第一打包数据DATA_Pack_1不包括饱和数据DATA_Sat、符号数据DATA_Sign、以及差异比特数据DATA_DB中的至少一项。
饱和数据DATA_Sat可以包括：与第一原始差异数据的元素值分别相对应的饱和比特。饱和比特中的每一个可以指示：与饱和比特相对应的第一原始差异数据的元素值是否超过阈值。例如，当第一原始差异数据的对应元素值超过阈值时，对应的饱和比特可以具有第一逻辑值(例如，1)。当第一原始差异数据的对应元素值不超过阈值时，对应的饱和比特可以具有第二逻辑值(例如，0)。
符号数据DATA_Sign可以包括：与第一原始差异数据的元素值分别相对应的符号比特。符号比特中的每一个可以指示：与符号比特相对应的第一原始差异数据的元素值是否小于“0”。例如，当第一原始差异数据的对应元素值小于“0”时，对应的符号比特可以具有第一逻辑值(例如，1)。当第一原始差异数据的对应元素值大于或等于“0”时，对应的饱和比特可以具有第二逻辑值(例如，0)。
差异数据DATA_Disparity可以具有第一原始差异数据的绝对值。换言之，差异数据DATA_Disparity的元素值中的每一个可以等于与其相对应的第一原始差异数据的元素值的绝对值。
差异比特数据DATA_DB可以指示：被分配给第一原始差异数据的元素值中的每一个元素值的比特数。例如，当将4比特分配给第一原始差异数据的元素值中的每一个元素值时，与其相对应的差异比特数据DATA_DB的元素值可以被为“0100”的二进制数而指示。
在下文中将参考图9更详细地描述生成第一打包数据DATA_Pack_1的方法。
图9是根据示例实施例的图像传感器模块50的生成打包数据的方法的流程图。具体地，图9是基于原始差异数据构造打包数据的方法的流程图。将在如图8所示地配置与第一图像IMG_1相对应的第一打包数据DATA_Pack_1的假设下示例性地描述图9。将参考图1、图2和图8来描述图9。
图像传感器模块50可以将第一原始差异数据的元素值与阈值进行比较(S310)。例如，图像压缩器电路220可以将与第一原始差异数据中的每一项的坐标值相对应的元素值与阈值进行比较。作为预设值的阈值可以根据实施例进行不同设置。
后续操作可以根据第一原始差异数据的元素值是否超过阈值而有差别地执行(S320)。
当第一原始差异数据的元素值超过阈值时，与元素值相对应的饱和比特可以具有第一逻辑值(例如，1)(S330)。根据实施例，差异数据的值可以被设置为“0000”。
当第一原始差异数据的元素值不超过阈值时，与元素值相对应的饱和比特可以具有第二逻辑值(例如，0)(S340)。
图像传感器模块50可以将第一原始差异数据的元素值与“0”进行比较(S350)。例如，图像压缩器电路220可以将与第一原始差异数据中的每一项相对应的元素值与“0”进行比较。
后续操作可以根据第一原始差异数据的元素值是否小于“0”而有差别地执行(S360)。
当第一原始差异数据的元素值大于或等于“0”时，与元素值相对应的符号比特可以具有第二逻辑值(例如，“0”)(S370)。在这种情况下，与元素值相对应的差异数据的元素值可以被设置为：等于第一原始差异数据的元素值(S375)。
当第一原始差异数据的元素值小于“0”时，与元素值相对应的符号比特可以具有第一逻辑值(例如，1)(S380)。在这种情况下，与元素值相对应的差异数据的元素值可以被设置为：通过将第一原始差异数据的元素值乘以“-1”获得的值(S385)。
图10A至图10D示出了根据示例实施例的基于多曝光图像生成压缩图像数据的过程的图。将在多曝光图像包括第一图像IMG_1、第二图像IMG_2、以及第三图像IMG_3并且第一图像IMG_1被选择为参考图像的假设下示例性地描述图10A至图10D。另外，第一图像IMG_1的曝光时间、第二图像IMG_2的曝光时间、以及第三图像IMG_3的曝光时间之间的比率可以假设为1∶3∶9。将参考图1、图2和图8描述图10A至图10D。
参考图10A，第一图像IMG_1、第二图像IMG_2、以及第三图像IMG_3中的每一幅可以包括w列和h行。换言之，第一图像IMG_1、第二图像IMG_2、以及第三图像IMG_3中的每一幅可以具有w*h个元素值(或像素值)。作为示例，与第一图像IMG_1的(1，1)坐标相对应的元素值(或像素值)可以是20，并且与第一图像IMG_1的(1，2)坐标相对应的元素值可以是40。可以将剩余元素值理解为采用与上述相同的方式。图像压缩器电路220可以：基于参考图像选择信息RI_Info将第一图像IMG_1选择为参考图像；生成与剩余图像(例如，第二图像IMG_2和第三图像IMG_3)相对应的多项打包数据；以及输出第一图像IMG_1和打包数据作为压缩图像数据IMG_Comp。回去参考图7的流程图及其描述，图像压缩器电路220可以：获得第二原始差异数据，以生成与第二图像IMG_2相对应的第二打包数据；以及，获得第三原始差异数据，以生成与第三图像IMG_3相对应的第三打包数据。将参考图10B更详细地描述获得第二原始差异数据和第三原始差异数据的过程。
参考图10A和10B，图像压缩器电路220可以：将作为参考图像的第一图像IMG_1乘以3，3是第二图像IMG_2的曝光时间与第一图像IMG_1的曝光时间的比率；从相乘结果中减去第二图像IMG_2；以及，获得第二原始差异数据DATA_Disparity_Raw_2。例如，如以下等式1中所示，与第二原始差异数据DATA_Disparity_Raw_2的(i，j)坐标相对应的元素值可以通过将第一图像IMG_1的对应元素值乘以3并从相乘结果中减去第二图像IMG_2的对应值来获得。在本文中，DRV2(i，j)表示与第二原始差异数据DATA_Disparity_Raw_2的(i，j)坐标相对应的元素值，IPV1(i，j)表示第一图像IMG_1的(i，j)坐标的元素值，并且IPV2(i，j)表示第二图像IMG_2的(i，j)坐标的元素值。
DRV2(i，j)＝IPV1(i，j)*3-IPV2(i，j) (1)
例如，可以从作为通过将作为第二图像second image IMG_2的对应元素值的20乘以3获得的值的60中减去作为第二图像IMG_2的对应元素值的62。因此，可以获得作为与第二原始差异数据DATA_Disparity_Raw_2的(1，1)坐标相对应的元素值的值-2。可以将与其他坐标相对应的元素值理解为采用与上述相同的方式。
类似地，图像压缩器电路220可以：将作为参考图像的第一图像IMG_1乘以9，9是第三图像IMG_3的曝光时间与第一图像IMG_1的曝光时间的比率；从相乘结果中减去第三图像IMG_3；以及，获得第三原始差异数据DATA_Disparity_Raw_3。例如，如以下等式2中所示，与第三原始差异数据DATA_Disparity_Raw_3的(i，j)坐标相对应的元素值可以：通过将第一图像IMG_1的对应元素值乘以9并从相乘结果中减去第三图像IMG_3的对应元素值来获得。在本文中，DRV3(i，j)表示与第三原始差异数据DATA_Disparity_Raw_3的(i，j)坐标相对应的元素值，IPV1(i，j)表示与第一图像IMG_1的(i，j)坐标相对应的元素值，并且IPV3(i，j)表示与第三图像IMG_3的(i，j)坐标相对应的元素值。
DRV3(i，j)＝IPV1(i，j)*9-IPV3(i，j) (2)
例如，可以从作为通过将作为第一图像IMG_1的对应元素值的20乘以9获得的值的180中减去作为第三图像IMG_3的对应元素值的190。因此，可以获得作为与第三原始差异数据DATA_Disparity_Raw_3的(1，1)坐标相对应的元素值的值-10。可以将与其他坐标相对应的元素值理解为采用与上述相同的方式。
如参考图10C和图10D在下文更详细地描述的，图像压缩器电路220可以：基于第二原始差异数据DATA_Disparity_Raw_2生成第二打包数据；以及，基于第三原始差异数据DATA_Disparity_Raw_3生成第三打包数据。
参考图10C，图像压缩器电路220可以基于第二原始差异数据DATA_Disparity_Raw_2生成第二打包数据。
饱和数据DATA_Sat可以包括与各个坐标相对应的饱和比特。因为第二原始差异数据DATA_Disparity_Raw_2中所包括的元素值中的每一个都小于阈值15，所以所有的饱和比特都可以具有第二逻辑值(例如，0)。
符号数据DATA_Sign可以包括与各个坐标相对应的符号比特。因为与(1，1)坐标和(2，1)坐标相对应的第二原始差异数据DATA_Disparity_Raw_2的元素值小于0，所以与其相对应的符号比特可以具有第一逻辑值(例如，1)。相反，因为与(1，2)坐标、(1，w)坐标、(2，2)坐标、(h，1)坐标、以及(h，w)坐标相对应的第二原始差异数据DATA_Disparity_Raw_2的元素值大于或等于0，所以与其相对应的符号比特可以具有第二逻辑值(例如，0)。
差异比特数据DATA_DB可以指示被分配给与其相对应的差异数据的元素值的比特数。例如，当为差异数据分配4比特时，差异比特数据DATA_DB中所包括的差异比特可以具有值0100。
差异数据DATA_Disparity可以是第二原始差异数据DATA_Disparity_Raw_2的绝对值。换言之，差异数据DATA_Disparity的元素值中的每一个元素值可以等于与其相对应的第二原始差异数据DATA_Dispairyt_Raw_2的元素值的绝对值。
参考图10D，图像压缩器电路220可以基于第三原始差异数据DATA_Disparity_Raw_3生成第三打包数据。
饱和数据DATA_Sat可以包括与各个坐标相对应的饱和比特。因为与(1，w)坐标、(h，1)坐标、以及(h，w)坐标相对应的第三原始差异数据DATA_Disparity_Raw_3的元素值大于阈值15，所以与其相对应的饱和比特可以具有第一逻辑值(例如，1)。另外，与第三原始差异数据DATA_Disparity_Raw_3的元素值相对应的差异值可以是0000。相反，因为与(1，1)坐标、(1，2)坐标、(2，1)坐标、以及(2，2)坐标相对应的第三原始差异数据DATA_Disparity_Raw_3的元素值不大于阈值15，所以与其相对应的饱和比特可以具有第二逻辑值(例如，0)。
符号数据DATA_Sign可以包括与各个坐标相对应的符号比特。因为与(1，1)坐标、(1，2)坐标、以及(1，w)坐标相对应的第三原始差异数据DATA_Disparity_Raw_3的元素值小于0，所以与其相对应的符号比特可以具有第一逻辑值(例如，1)。相反，当与(2，2)坐标相对应的第三原始差异数据DATA_Disparity_Raw_3的元素大于或等于0时，与其相对应的符号比特可以具有第二逻辑值(例如，0)。
差异比特数据DATA_DB可以指示被分配给与其相对应的差异数据DATA_Disparity的元素值的比特数。例如，当为差异数据DATA_Disparity分配4个比特时，差异比特数据DATA_DB中所包括的差异比特可以具有值0100。
除了与其相对应的饱和比特是1之外，差异数据DATA_Disparity可以是第三原始差异数据DATA_Disparity_Raw_3的绝对值。换言之，差异数据DATA_Disparity的元素值中的每一个可以等于第三原始差异数据DATA_Dispairyt_Raw_3的对应元素值的绝对值。
图像压缩器电路220可以将用作参考图像的第一图像IMG_1、第二打包数据DATA_Pack_2、以及第三打包数据DATA_Pack_3提供给处理器400作为压缩图像数据IMG_Comp。
图11示出了根据示例实施例的处理器400。处理器400可以包括解压缩器电路420和控制电路440。将参考图1来描述图11。
解压缩器电路420可以：对压缩图像数据IMG_Comp进行解压缩；以及，生成与多个曝光时间相对应的多个解压缩图像IMG_Decomp。在实施例中，解压缩器电路420可以基于压缩图像数据IMG_Comp中所包括的参考图像和打包数据，生成(或重构)与打包数据相对应的图像。在下文中将参考图12更详细地描述解压缩器电路420的解压缩方法。解压缩器电路420可以将多个解压缩图像IMG_Decomp提供给控制电路440。
控制电路440可以基于多个解压缩图像IMG_Decomp来控制电子系统10。备选地，控制电路440可以基于所述多个解压缩图像IMG_Decomp来控制电子系统10的任意其他组件。例如，控制电路440可以对多个解压缩图像IMG_Decomp进行合成，并且生成HDR图像数据。另外，控制电路440可以控制电子系统10的显示功能，以显示已生成的HDR图像数据。
图12是根据实施例的处理器400的图像解压缩方法的流程图。将参考图1和图11来描述图12。
为了简单，假设：压缩图像数据IMG_Comp中包括参考图像，并且基于第一打包数据来重构第一图像。在这种情况下，第一图像的曝光时间与参考图像的曝光时间的比率将被称为第一比率。
处理器400可以检查第一打包数据中所包括的饱和比特(S420)。例如，解压缩器电路420可以基于第一打包数据中所包括的饱和数据，检查与多个坐标相对应的饱和比特(S420)。
后续操作可以根据饱和比特是否位于第二逻辑电平“0”处而有差别地执行(S440)。
当饱和比特位于第二逻辑电平“0”时，针对对应的坐标，解压缩器电路420可以将参考图像的对应坐标的元素值和第一比率的值相乘，并且将所述对应坐标的差异数据的元素值和经相乘的值相加。解压缩器电路420可以获得经相加的值作为第一图像的元素值(S460)。即，例如，可以使用等式1的逆操作来重构图像。
当饱和比特位于第二逻辑电平“0”时，针对对应的坐标，解压缩器电路420可以为第一图像的元素值设置与饱和级别相对应的值(S480)。
尽管已经参考本发明构思的实施例具体示出和描述了本发明构思，但是将理解，在不脱离所附权利要求的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (20)

1.一种图像传感器模块，包括：
图像传感器，
其中所述图像传感器模块被配置为：使所述图像传感器输出多幅图像，并且
其中所述多幅图像具有彼此不同的多个曝光时间；
参考图像选择器电路，被配置为：基于参考亮度值，输出用于从所述多幅图像中选择参考图像的参考图像选择信息；以及
图像压缩器电路，被配置为：基于所述参考图像选择信息，输出包括至少一个打包数据和所述参考图像在内的压缩图像数据，
其中所述至少一个打包数据分别对应于所述多幅图像中所述参考图像之外的至少一幅剩余图像，并且基于对应图像的曝光时间与所述参考图像的曝光时间的比率生成。
2.根据权利要求1所述的图像传感器模块，
其中所述参考图像选择器电路被配置为：
接收所述参考亮度值；以及
基于所述参考亮度值输出所述参考图像选择信息，并且
其中所述参考图像选择器电路被配置为：使用基于较高的参考亮度值所生成的所述参考图像选择信息，从所述多幅图像中选择具有较短曝光时间的图像作为所述参考图像。
3.根据权利要求1所述的图像传感器模块，
其中所述参考图像选择器电路被配置为：
基于包括与多个亮度值范围相对应的图像列表在内的表，从所述多个亮度值范围中确定所述参考亮度值所属的亮度值范围；以及
输出用于选择所述多幅图像中的与已确定的亮度值范围相对应的图像作为所述参考图像的所述参考图像选择信息。
4.根据权利要求1所述的图像传感器模块，
其中所述至少一幅剩余图像包括所述多幅图像中的第一图像，
其中所述图像压缩器电路被配置为：通过使用第一比率来生成与所述第一图像相对应的第一打包数据，并且
其中所述第一比率指示所述第一图像的曝光时间与所述参考图像的曝光时间的比率。
5.根据权利要求4所述的图像传感器模块，
其中所述图像压缩器电路被配置为：
通过将所述参考图像乘以所述第一比率来获得第一校正参考图像；
逐像素地从所述第一校正参考图像的亮度值中减去所述第一图像的亮度值，以生成第一原始差异数据；以及
基于所述第一原始差异数据，生成与所述第一图像相对应的所述第一打包数据。
6.根据权利要求5所述的图像传感器模块，
其中所述第一原始差异数据包括以矩阵形式布置的多个元素值，
其中所述第一打包数据包括多个饱和比特，并且
其中所述多个饱和比特中的每一个指示具有矩阵形式的所述第一原始差异数据的对应元素值是否超过阈值。
7.根据权利要求5所述的图像传感器模块，
其中所述第一原始差异数据包括以矩阵形式布置的多个元素值，
其中所述第一打包数据包括多个符号比特，并且
其中所述多个符号比特中的每一个指示具有矩阵形式的所述第一原始差异数据的对应元素值是否小于0。
8.根据权利要求7所述的图像传感器模块，
其中所述第一打包数据还包括多个绝对值，并且
其中所述多个绝对值中的每一个指示所述第一原始差异数据的对应元素值的绝对值。
9.根据权利要求6所述的图像传感器模块，
其中所述第一打包数据包括：以二进制形式指示比特数的差异比特，所述比特数被分配用于表示所述第一原始差异数据的所述多个元素值中的每一个元素值的值，并且
其中所述差异比特的值等于所述阈值。
10.一种图像传感器模块的图像压缩方法，所述方法包括：
获得与多个曝光时间相对应的多幅图像；
基于参考亮度值从所述多幅图像中选择参考图像；
生成至少一个打包数据，
其中所述至少一个打包数据分别对应于与除了所述多幅图像中所述参考图像之外的至少一幅剩余图像，并且
其中所述至少一个打包数据中的每一个包括指示校正参考图像和对应图像之间的差别的差异，所述校正参考图像对应于基于对应图像的曝光时间与所述参考图像的曝光时间的曝光时间比率所校正的参考图像；以及
输出所述参考图像和所述至少一个打包数据作为压缩图像数据。
11.根据权利要求10所述的方法，
其中选择所述参考图像包括：当所述参考亮度值增大时，从所述多幅图像中选择所述多幅图像中的与较短曝光时间相对应的图像。
12.根据权利要求10所述的方法，
其中所述参考亮度值从所述图像传感器模块的外部提供，或由所述图像传感器模块基于所述多幅图像获得。
13.根据权利要求10所述的方法，
其中所述至少一幅剩余图像包括所述多幅图像中的第一图像，
其中生成所述至少一个打包数据包括：通过使用第一比率，生成与所述第一图像相对应的第一打包数据，
其中所述第一比率指示所述第一图像的曝光时间与所述参考图像的曝光时间的比率。
14.根据权利要求13所述的方法，
其中生成所述第一打包数据包括：
通过将所述参考图像乘以所述第一比率来生成第一校正参考图像；
通过逐像素地从所述第一校正参考图像的亮度值减去所述第一图像的亮度值，生成第一原始差异数据；以及
基于所述第一原始差异数据生成所述第一打包数据。
15.根据权利要求14所述的方法，
其中所述第一原始差异数据包括以矩阵形式布置的多个元素值，并且
其中基于所述第一原始差异数据生成所述第一打包数据包括：
生成多个饱和比特，所述多个饱和比特中的每一个指示：矩阵形式的所述第一原始差异数据的对应元素值是否超过阈值；
生成多个符号比特，所述多个符号比特中的每一个指示：矩阵形式的所述第一原始差异数据的对应元素值是否小于0；以及
使用所述多个饱和比特、所述多个符号比特、以及所述第一原始差异数据的所述多个元素值中的每一个元素值的绝对值，生成所述第一打包数据。
16.一种电子装置，包括：
图像传感器模块，被配置为：
生成与多个曝光时间相对应的多幅图像；以及
输出包括至少一个打包数据和从所述多幅图像中选择的参考图像在内的压缩图像数据，
其中所述至少一个打包数据分别对应于所述参考图像之外的至少一幅剩余图像；以及
处理器，被配置为：
基于与所述参考图像、所述至少一个打包数据和所述多个曝光时间相关的信息，根据所述压缩图像数据来重构所述至少一幅剩余图像；以及
基于所述参考图像和经重构的所述至少一幅剩余图像来生成高动态范围HDR图像。
17.根据权利要求16所述的电子装置，
其中所述图像传感器模块包括：
图像传感器，其中所述图像传感器模块被配置为：使所述图像传感器生成所述多幅图像；
参考图像选择器电路，被配置为：基于参考亮度值，输出用于从所述多幅图像中选择所述参考图像的参考图像选择信息；以及
图像压缩器电路，被配置为：基于所述参考图像选择信息，输出包括所述参考图像和所述至少一个打包数据在内的压缩图像数据。
18.根据权利要求17所述的电子装置，其中所述参考图像选择器电路被配置为：
接收所述参考亮度值；以及
输出所述参考图像选择信息，并且
其中所述参考图像选择器电路被配置为：使用基于较高的参考亮度值所生成的所述参考图像选择信息，从所述多幅图像中选择具有较短曝光时间的图像作为所述参考图像。
19.根据权利要求17所述的电子装置，
其中所述至少一幅剩余图像包括所述多幅图像中的第一图像，
其中所述图像压缩器电路被配置为：
通过将所述参考图像乘以第一比率来获得第一校正参考图像；
逐像素地从所述第一校正参考图像的亮度值中减去所述第一图像的亮度值，以生成多个第一原始差异数据；以及
基于所述多个第一原始差异数据，生成与所述第一图像相对应的第一打包数据，并且
其中所述第一比率指示所述第一图像的曝光时间与所述参考图像的曝光时间的比率。
20.根据权利要求19所述的电子装置，
其中所述图像压缩器电路使用多个饱和比特、多个符号比特和多个第一差异数据，生成所述第一打包数据，
其中所述多个饱和比特中的每一个指示：所述多个第一原始差异数据的对应值是否超过阈值，
其中所述多个符号比特中的每一个指示：所述多个第一原始差异数据的对应值是否小于0，并且
其中所述多个第一差异数据中的每一个指示所述多个第一原始差异数据的对应值的绝对值。
CN202011610101.2A 2020-02-05 2020-12-29 图像传感器模块、其图像压缩方法及电子装置 Pending CN113225493A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200013735A KR20210099865A (ko) 2020-02-05 2020-02-05 이미지 센서 모듈, 그것의 영상 압축 방법 및 전자 장치
KR10-2020-0013735 2020-02-05

Publications (1)

Publication Number Publication Date
CN113225493A true CN113225493A (zh) 2021-08-06

Family

ID=77085923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011610101.2A Pending CN113225493A (zh) 2020-02-05 2020-12-29 图像传感器模块、其图像压缩方法及电子装置

Country Status (3)

Country Link
US (1) US11496689B2 (zh)
KR (1) KR20210099865A (zh)
CN (1) CN113225493A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11843871B1 (en) * 2022-05-25 2023-12-12 Qualcomm Incorporated Smart high dynamic range image clamping
US20240185401A1 (en) * 2022-12-05 2024-06-06 Qualcomm Incorporated Area efficient high dynamic range bandwidth compression

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0437934A (ja) 1990-06-01 1992-02-07 Fujitsu Ltd アドレス変換回路
US7296286B2 (en) * 2002-01-31 2007-11-13 Hitachi Kokusai Electric Inc. Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof
KR101633893B1 (ko) 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
JP2013090095A (ja) 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置、撮像方法、およびプログラム
JP6000670B2 (ja) 2012-06-11 2016-10-05 キヤノン株式会社 画像処理装置、画像処理方法
JP2015023498A (ja) 2013-07-22 2015-02-02 キヤノン株式会社 画像符号化装置、画像符号化方法およびプログラム
JP6352625B2 (ja) 2013-12-10 2018-07-04 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像データ圧縮回路、画像データ圧縮方法及び撮像装置
KR102149187B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
US9704269B2 (en) * 2014-11-21 2017-07-11 Texas Instruments Incorporated Efficient methodology to process wide dynamic range images
KR20180015248A (ko) 2015-06-09 2018-02-12 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코딩 방법, 비디오 디코딩 방법, 비디오 인코더 및 비디오 디코더
WO2018003757A1 (ja) 2016-06-27 2018-01-04 ソニー株式会社 信号処理装置、信号処理方法、カメラシステム、ビデオシステムおよびサーバ
JP6848718B2 (ja) 2016-06-27 2021-03-24 ソニー株式会社 信号処理装置、信号処理方法およびビデオシステム
GB2557997B (en) 2016-12-21 2019-05-01 Apical Ltd Encoding and Decoding of image data
JP6824084B2 (ja) * 2017-03-22 2021-02-03 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2019004203A (ja) * 2017-06-12 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム。
KR102412007B1 (ko) 2017-07-20 2022-06-22 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
KR20190114332A (ko) * 2018-03-29 2019-10-10 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
US20210243348A1 (en) 2021-08-05
US11496689B2 (en) 2022-11-08
KR20210099865A (ko) 2021-08-13

Similar Documents

Publication Publication Date Title
EP3335107B1 (en) Data reordering using buffers and memory
US20190347543A1 (en) Data screening device and method
CN113225493A (zh) 图像传感器模块、其图像压缩方法及电子装置
JP6134281B2 (ja) イメージを処理する電子装置及びその動作方法
CN105580345A (zh) 成像器件、成像装置和电子装置
US10032257B2 (en) Super resolution processing method, device, and program for single interaction multiple data-type super parallel computation processing device, and storage medium
US20180270445A1 (en) Methods and apparatus for generating video content
US10904436B2 (en) Image sensor and electronic device including the image sensor
US9826171B2 (en) Apparatus and method for reconstructing high dynamic range video
US11223762B2 (en) Device and method for processing high-resolution image
US11699218B2 (en) Method controlling image sensor parameters
EP2862103A1 (en) Enhancing captured data
CN113949875A (zh) 图像传感器模块、图像处理系统和图像压缩方法
JP2008193263A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および、記録媒体
US8482438B2 (en) Data processing device and data processing method
EP3874751A2 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
US8934025B2 (en) Method and apparatus for processing image
JP2019144827A (ja) 画像処理装置およびその制御方法ならびにプログラム
EP3352133B1 (en) An efficient patch-based method for video denoising
WO2020258287A1 (zh) 图像校正方法和图像校正装置以及电子设备
US20240214593A1 (en) Image processing device, mobile device, and method of operating the same
US8031245B2 (en) Imaging apparatus and methods, and storing medium having computer program to perform the methods
WO2015152821A1 (en) Image processing devices and image processing methods
WO2023015422A1 (zh) 一种图像的处理方法及其装置
JP2018136482A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination