CN105635605B - 一种控制设备以及包括该设备的图像处理系统 - Google Patents

一种控制设备以及包括该设备的图像处理系统 Download PDF

Info

Publication number
CN105635605B
CN105635605B CN201510818675.1A CN201510818675A CN105635605B CN 105635605 B CN105635605 B CN 105635605B CN 201510818675 A CN201510818675 A CN 201510818675A CN 105635605 B CN105635605 B CN 105635605B
Authority
CN
China
Prior art keywords
image signal
weight value
noise
time
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510818675.1A
Other languages
English (en)
Other versions
CN105635605A (zh
Inventor
柳钟珉
金智惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105635605A publication Critical patent/CN105635605A/zh
Application granted granted Critical
Publication of CN105635605B publication Critical patent/CN105635605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理设备，包括第一宽动态范围(WDR)图像生成模块、控制信号生成器和第一WDR图像生成模块。第一WDR图像生成模块处理长时间曝光图像信号以生成第一图像信号，处理使用第二权重值处理短时间曝光图像信号以生成第二图像信号，并且用于合成第一图像信号与第二图像信号以生成第一WDR图像信号。控制信号生成器计算第二权重值与基准权重值之间的差，并且根据计算的结果来生成控制信号。第一WDR图像生成模块使用控制信号来调节第一WDR图像信号的噪声级别，并且根据调节的结果来生成第一WDR图像信号。

Description

一种控制设备以及包括该设备的图像处理系统
相关申请的交叉引用
本申请要求于2014年11月24日向韩国知识产权局递交的韩国专利申请No.10-2014-0164118的优先权，并在此引入其全部公开的内容。
技术领域
本发明构思的实施例涉及针对宽动态范围(WDR)图像的噪声级别控制设备，更具体地，涉及噪声级别控制设备、噪声级别控制设备的操作方法、以及包括该噪声级别控制设备的图像处理系统。
背景技术
图像处理设备可以包括将光信号转换成电信号的图像传感器以及对转换的电信号进行处理以向显示设备输出的图像处理器。为了同时适当地显示图像的黑暗部分和明亮部分二者，可以在图像处理设备中使用宽动态范围(WDR)技术。
WDR技术可以对图像进行合成，并对曝光时间进行调节，以使明亮部分和黑暗部分二者都可见。
发明内容
根据本发明构思的示例实施例，提供了图像处理设备。该设备包括第一宽动态范围(WDR)图像生成模块、控制信号生成器和第二 WDR图像生成模块。第一WDR图像生成模块被配置为处理长时间曝光图像信号，根据对长时间曝光图像信号的处理结果来生成第一图像信号，使用第二权重值来处理短时间曝光图像信号，根据对短时间曝光图像信号的处理结果来生成第二图像，并且将第一图像信号与第二图像信号合成以生成第一WDR图像信号。控制信号生成器被配置为计算第二权重值与基准权重值之间的差，并且根据该计算的结果来生成控制信号。第二WDR图像生成模块被配置为使用控制信号来调节第一WDR图像信号的噪声级别，并且根据调节的结果来生成第二 WDR图像信号。使用第一曝光时间来生成长时间曝光图像信号。使用比第一曝光时间短的第二曝光时间来生成短时间曝光图像信号。
第一WDR图像生成模块可以对短时间曝光图像信号和长时间曝光图像信号中的每一个进行线性化，通过将第一权重值施加到线性化的长时间曝光图像信号来生成第一图像信号，并且通过将第二权重值施加到线性化的短时间曝光图像信号来生成第二图像信号。
第一WDR图像生成模块可以对线性化的长时间曝光图像信号进行插值以生成第一插值信号，将第一权重值施加到第一插值信号以生成第一图像信号，对线性化的短时间曝光图像信号进行插值以生成第二插值信号，并且将第二权重值施加到第二插值信号以生成第二图像信号。
第一权重值和第二权重值的和可以是1。
可以基于长时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定第一权重值。可以基于短时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定第二权重值。
可以基于短时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定基准权重值。
可以从存储在控制信号生成器中的查找表中提取基准权重值。
控制信号可以包括降噪强度控制信号和噪声增益控制信号。
当第二权重值大于基准权重值时，控制信号生成器可以随着第二权重值与基准权重值之间的差的增大来增大降噪强度控制信号并减小噪声增益控制信号。
当第二权重值大于基准权重值时，控制信号生成器可以随着第二权重值与基准权重值之间的差的减小来减小降噪强度控制信号并增大噪声增益控制信号。
控制信号生成器可以包括基准权重模块、降噪强度控制信号生成器、以及噪声增益控制信号生成器。基准权重模块可以被配置为确定基准权重值。降噪强度控制信号生成器可以被配置为计算第二权重值与基准权重值之间的差，并且被配置为通过使用第一WDR图像信号和第二权重值与基准权重值之间的差来生成降噪强度控制信号。噪声增益控制信号生成器可以被配置为通过使用降噪强度控制信号、第二权重值和第一WDR图像信号来生成噪声增益控制信号。
第二WDR图像生成模块可以包括降噪电路、噪声增益生成器和运算模块。降噪电路可以被配置为响应于降噪强度控制信号来从第一 WDR图像信号中提取无噪声图像信号和噪声图像信号。噪声增益生成器可以被配置为响应于噪声增益控制信号来生成针对第一WDR图像信号的噪声增益。运算模块可以被配置为通过将噪声图像信号与噪声增益相乘来生成最终噪声图像信号，并且被配置为通过将最终噪声图像信号与无噪声图像信号相加来生成第二WDR图像信号。
根据本发明构思的示例实施例，提供了图像处理系统。图像处理系统可以包括图像传感器和噪声级别控制设备。图像传感器被配置为输出长时间曝光图像信号和短时间曝光图像信号。噪声级别控制设备被配置为处理长时间曝光图像信号和短时间曝光图像信号，并且被配置为调节第一WDR图像信号的噪声级别，并且被配置为根据该调节的结果来生成第二WDR图像信号。噪声级别控制设备包括第一WDR 图像生成模块、控制信号生成器和第二WDR图像生成模块。第一WDR 图像生成模块被配置为使用第一权重值来处理长时间曝光图像信号，根据对长时间曝光图像信号的处理的结果来生成第一图像信号，使用第二权重值来处理短时间曝光图像信号，根据对短时间曝光图像信号的处理的结果来生成第二图像信号，并且对第一图像信号与第二图像信号进行合成以生成第一WDR图像信号。控制信号生成器被配置为计算第二权重值与基准权重值之间的差，并且根据该计算的结果来生成控制信号。第二WDR图像生成模块被配置为使用控制信号来调节第一WDR图像信号的噪声级别，并且根据该调节的结果来生成第二 WDR图像信号。使用第一曝光时间来生成长时间曝光图像信号。使用比第一曝光时间短的第二曝光时间来生成短时间曝光图像信号。
噪声级别控制设备可以实现为集成电路或芯片。
噪声级别控制设备可以包括在图像传感器中。
噪声级别控制设备可以包括在应用处理器中。
可以基于长时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定第一权重值。可以基于短时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定第二权重值。
可以基于短时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定基准权重值。
可以从存储在控制信号生成器中的查找表中提取基准权重值。
控制信号可以包括降噪强度控制信号和噪声增益控制信号。
第二WDR图像生成模块可以包括降噪电路、噪声增益生成器和运算模块。降噪电路可以被配置为响应于降噪强度控制信号来从第一 WDR图像信号中提取无噪声图像信号和噪声图像信号。噪声增益生成器可以被配置为响应于噪声增益控制信号来生成针对第一WDR图像信号的噪声增益。运算模块可以被配置为通过将噪声图像信号与噪声增益相乘来生成最终噪声图像信号，并且被配置为通过将最终噪声图像信号与无噪声图像信号相加来生成第二WDR图像信号。
根据本发明构思的示例性实施例，提供了图像处理方法。图像处理方法包括：基于使用第一曝光时间生成的长时间曝光图像信号来确定第一权重值，基于使用比第一曝光时间短的第二曝光时间生成的短时间曝光图像信号来确定第二权重值，基于第一权重值和长时间曝光图像信号来生成第一图像信号，基于第二权重值和短时间曝光图像信号来生成第二图像信号，通过将第一图像信号与第二图像信号组合来生成第三图像信号，使用控制信号来调节第三图像信号的噪声级别，以及基于第三图像信号的调节的结果来生成第四图像信号。
控制信号可以包括基于第二权重值与基准权重值之间的差而生成的降噪强度控制信号和噪声增益控制信号。
可以基于长时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定第一权重值，并且可以基于短时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定第二权重值。
可以基于短时间曝光图像信号的亮度值、锐度值或对比度值来确定基准权重值。
调节第三图像信号的噪声级别可以包括：使用降噪强度控制信号来从第一图像信号中提取无噪声图像信号和噪声图像信号，使用噪声增益控制信号来生成与第一图像信号相对应的噪声图像信号，使用噪声图像信号和噪声增益来生成最终噪声图像信号，以及使用最终噪声图像信号和无噪声图像信号来生成第四图像信号。
附图说明
根据以下结合附图对实施例的描述，本发明构思的这些和/或其它方案将变得明显且更容易理解，在附图中：
图1是根据本发明构思示例实施例的图像处理系统的框图；
图2是根据本发明构思示例实施例的图像处理系统的框图；
图3是根据本发明构思示例实施例的图像处理系统的框图；
图4是根据本发明构思示例实施例的针对宽动态范围(WDR)图像的噪声级别控制设备的框图；
图5是根据本发明构思示例实施例的针对WDR图像的噪声级别控制设备的框图；
图6是根据本发明构思示例实施例的图4至图5中示出的合成模块的框图；
图7是示出了根据本发明构思示例实施例的图4至图5中示出的合成模块执行的合成过程的示意图；
图8是示出了根据本发明构思示例实施例的由合成模块执行的图 7中示出的合成过程的表格；
图9是根据本发明构思示例实施例的图4至图5中示出的控制信号生成器的框图；
图10是根据本发明构思示例实施例的图4至图5中示出的控制信号生成器的框图；
图11是示出了根据本发明构思示例实施例的基准权重值函数的曲线；
图12是示出了根据本发明构思示例实施例的计算基准权重值与第二权重值之间的差的过程的曲线；
图13是示出了根据本发明构思示例实施例的针对WDR图像的噪声级别控制设备的操作的流程图；
图14是示出了根据本发明构思示例实施例的图4至图5中示出的第二WDR图像生成模块的操作的流程图；
图15是根据本发明构思示例实施例的图像处理系统的框图；以及
图16是根据本发明构思示例实施例的图像处理系统的框图。
具体实施方式
下文将参照附图更完全地对本公开进行描述，其中示出了本公开的示例实施例。然而，在不脱离本发明构思的精神和范围的前提下，本发明构思可以按照很多不同形式来表现，并且不应当解释为限制为本文中阐述的实施例。在附图中，为了清楚起见，可以放大层和区域的大小和相对大小。类似的附图标记指代类似的要素。如本文中使用的，术语“和/或”包括一个或多个相关联的列出的项目的任意和所有组合，并且可以缩写为“/”。如本文中使用的，除非上下文另有明确说明，否则单数形式“一”、“一个”和“该”包括复数个引用对象。
图1是根据本发明构思示例实施例的图像处理系统的框图。参照图1，图像处理系统10可以实现在个人计算机(PC)、移动计算设备等中。移动计算设备可以实现为膝上型计算机、移动电话、智能电话、平板PC、个人数字助理(PDA)、企业数字助理(EDA)、数字照相机、数字摄像机、便携式多媒体播放器(PMP)、移动因特网设备(MID)、可穿戴计算机、物联网(IoT)设备、万物互联(IoE)设备等等。
图像处理系统10可以包括互补金属氧化物半导体(CMOS)图像传感器200、桥接电路300、应用处理器(AP)400和显示器500。在图1示出的本发明构思的示例实施例中，桥接电路300可以包括能够对包括在宽动态范围(WDR)图像中的噪声级别进行调节的噪声级别控制设备100。桥接电路300可以实现为集成电路(IC)、单芯片等等。
噪声级别控制设备100可以通过对以相互不同的曝光时间拍摄的图像进行合成来提高包括在光照上具有较大不同的明亮部分(例如室外)和黑暗部分(例如室内)的图像的锐度，以生成最终WDR图像。当对以相互不同的曝光时间拍摄的图像进行合成时，噪声级别控制设备100可以逐像素地合成图像，这对每个图像施加不同的权重值。
根据本发明构思的示例实施例，噪声级别控制设备100可以通过逐像素地对以不同的曝光时间拍摄的每个图像施加不同的权重值并且对图像进行合成来生成最终WDR图像。这里，像素可以与像素数据相对应，并且可以具有RGB数据格式、YUV数据格式、YCbCr数据格式等等，然而，本发明构思的像素并不限于此。
根据本发明构思的示例实施例，当对以不同的曝光时间拍摄的图像进行合成时，噪声级别控制设备100可以逐块地对图像进行合成。根据本发明构思的示例实施例，当对以不同的曝光时间拍摄的图像进行合成时，噪声级别控制设备100可以使用梯度域逐像素地对图像进行合成。
如图1所示，噪声级别控制设备100可以实现在桥接电路300中。噪声级别控制设备100可以生成针对从CMOS图像传感器300输出的图像数据IDATA的最终WDR图像。将参照图4至图14详细描述噪声级别控制设备100的配置和操作。CMOS图像传感器200可以生成针对通过光学镜头输入(或捕捉)的对象的图像数据IDATA。
桥接电路300可以接收从CMOS图像传感器200输出的图像数据 IDATA，生成与图像数据IDATA相对应的Bayer图案BAYER，并且向AP 400发送Bayer图案BAYER。例如，桥接电路300可以通过将从CMOS图像传感器200输出的图像数据IDATA转换成可以在AP 400中使用的信号，起到在CMOS图像传感器200与AP 400之间协调的作用。
AP 400可以包括传感器控制器410、图像信号处理器(ISP)420、中央处理单元(CPU)430和显示控制器440。AP 400可以是处理器的示例实施例，并且可以实现为集成电路(IC)、片上系统(SoC)、移动AP等等。
传感器控制器410可以生成用于控制CMOS图像传感器200的操作的各种类型的控制信号，并根据CPU 430的控制向CMOS图像传感器200发送生成的控制信号。
ISP 420可以处理从桥接电路300发送的对应于图像数据IDATA 的Bayer图案BAYER以生成RGB图像数据。例如，ISP420可以处理 Bayer图案BAYER，使得可以在显示器500上显示图像数据IDATA，并且向显示器500发送经处理的图像数据。根据本发明构思的示例实施例，ISP 420和CMOS图像传感器200中的每一个可以实现为芯片，并且包装到单个封装中，例如多芯片封装(MCP)。根据本发明构思的示例实施例，ISP 420和CMOS图像处理器200可以实现为单芯片。
CPU 430可以控制传感器控制器410、ISP 420和显示控制器440。显示控制器440可以生成用于控制显示器500的各种类型的控制信号，并且根据CPU 430的控制向显示器500发送生成的控制信号。显示控制器440可以通过MIPI显示器串行接口(DSI)、嵌入式显示器端口 (eDP)等等向显示器500发送图像数据。
显示器500可以接收从显示控制器440发送的控制信号和图像数据，并且根据控制信号显示图像数据。例如，显示器500可以实现为薄膜晶体管-液晶显示器(TFT-LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、有源矩阵OLED(AMOLED)显示器、柔性显示器、透明显示器等等。
图2是根据本发明构思的示例实施例的图像处理系统的框图。参照图2，图像处理系统10A可以包括CMOS图像传感器200-1、桥接电路300-1、AP 400和显示器500。
除了噪声级别控制设备100并不实现在桥接电路300-1中而是实现在图2中的CMOS图像传感器300中之外，图2的图像处理系统 10A的结构和操作与图1的图像处理系统10的结构和操作大体上相同或相似。在CMOS图像传感器200-1中实现的噪声级别控制设备100可以生成针对由CMOS图像传感器200-1生成的图像数据的最终 WDR图像。CMOS图像传感器200-1可以向桥接电路300-1发送经噪声级别控制设备100处理的图像数据IDATA’。
图3是根据本发明构思的示例实施例的图像处理系统的框图。参照图3，图像处理系统10B可以包括CMOS图像传感器200、桥接电路300-1、AP 400-1和显示器500。除了噪声级别控制设备100并不实现在桥接电路300-1中而是实现在图3中的AP 400-1中，图3的图像处理系统10B的结构和操作可以与图1的图像处理系统10的结构和操作大体上相同或相似。
当ISP 421根据Bayer图案BAYER来处理或生成RGB图像数据时，在ISP 421中实现的噪声级别控制设备100可以生成与RGB图像数据相对应的最终WDR图像。
图4是根据本发明构思的示例实施例的针对WDR图像的噪声级别控制设备的框图。参照图4，噪声级别控制设备100可以包括第一 WDR图像生成模块110、控制信号生成器120和第二WDR图像生成模块130。根据本发明构思的示例实施例，噪声级别控制设备110可以实现在图1的桥接电路300、图2的CMOS图像传感器200-1或图 3的ISP 421中。
第一WDR图像生成模块110可以使用第一权重值(例如图6的 WL)来处理具有相对较长的曝光时间的长时间曝光图像信号LEI，并因此可以生成第一图像信号。此外，第一WDR图像生成模块110可以使用第二权重值WS来处理具有相对较短的曝光时间的短时间曝光图像信号SEI，并因此可以生成第二图像信号。
第一WDR图像生成模块110可以对第一图像信号和第二图像信号进行合成以生成第一宽动态范围(WDR)图像信号WDR1。第一 WDR图像生成模块110可以包括第一线性化模块111、第二线性化模块113和合成模块115。
第一线性化模块111可以对长时间曝光图像信号LEI进行线性化以生成线性化的长时间曝光图像信号LLEI。第二线性化模块113可以对短时间曝光图像信号SEI进行线性化以生成线性化的短时间曝光图像信号LSEI。这里，线性化可以被理解为意思是调节长时间曝光图像信号LLEI中的像素的第一像素值和/或短时间曝光图像信号SEI中的像素的第二像素值，使得可以对第一像素值和第二像素值进行合成。
合成模块115可以从第一线性化模块111接收线性化的长时间曝光图像信号LLEI，从第二线性化模块113接收线性化的短时间曝光图像信号，以及对线性化的长时间曝光图像信号LLEI与线性化的短时间曝光图像信号LSEI进行合成以生成第一WDR图像信号WDR1。当合成两个信号LLEI和LSEI时，合成模块115可以向线性化的长时间曝光图像信号LLEI施加第一权重值(例如图6的WL)，并且向线性化的短时间曝光图像信号LSEI施加第二权重值(例如WS)。此时，第一权重值(例如图6的WL)与第二权重值(例如WS)的和可以是“1”。
合成模块115可以向第二WDR图像生成模块130发送第一WDR 图像WDR1，并且向控制信号生成器120发送第一WDR图像信号 WDR1和第二权重值WS。将会参照图6至图8详细描述合成模块115 的配置和操作。
控制信号生成器120可以计算第二权重值WS与基准权重值(例如图9的WS_R)之间的差，并且根据计算的结果来生成控制信号(例如NR_strength和NGC)。此时，控制信号NR_strength和NGC可以包括降噪强度控制信号NR_strength和噪声增益控制信号NGC。
可以向第二WDR图像生成模块130发送降噪强度控制信号 NR_strength，并且降噪强度控制信号NR_strength可以控制降噪电路 131能够从第一WDR图像信号WDR1中提取噪声图像信号NS的程度。可以向第二WDR图像生成模块130发送噪声增益控制信号NGC，并且噪声增益控制信号NGC可以在噪声增益生成器133生成噪声增益NG的过程中使用。
根据本发明构思的示例实施例，当第二权重值WS大于基准权重值(例如图9的WS_R)时，随着第二权重值WS与基准权重值(例如图9的WS_R)之间的差变大，控制信号生成器120可以生成更大的降噪强度控制信号NR_strength和更小的噪声增益控制信号NGC。根据本发明构思的示例实施例，当第二权重值WS大于基准权重值(例如图9的WS_R)时，随着第二权重值WS与基准权重值(例如图9 的WS_R)之间的差变小，控制信号生成器120可以生成更小的降噪强度控制信号NR_strength和更大的噪声增益控制信号NGC。将参照图9至图12详细描述控制信号生成器120的配置和操作。
第二WDR图像生成模块130可以使用控制信号NR_strength和 NGC来调节第一WDR图像信号WDR1的噪声级别，并且生成具有调节的噪声级别的第二WDR图像信号WDR2。第二WDR图像生成模块130可以包括降噪电路131、噪声增益生成器133和运算模块。
降噪电路131可以响应于降噪强度控制信号NR_strength来从第一WDR图像信号WDR1中提取无噪声图像信号NFS和噪声图像信号 NS。例如，当降噪强度控制信号NR_strength增强时，降噪电路131 可以提高针对第一WDR图像信号WDR1的降噪的程度。
噪声增益生成器133可以响应于噪声增益控制信号NGC，生成针对第一WDR图像信号WDR1的噪声增益NG。例如，当噪声增益控制信号NGC增强时，噪声增益生成器133可以提高针对第一WDR图像信号WDR1的噪声增益NG。
运算模块可以包括乘法器135和加法器137。乘法器135可以通过将噪声图像信号NS与噪声增益NG相乘来生成最终噪声图像信号。加法器137可以通过将最终噪声图像信号与无噪声图像信号NFS相加来生成第二WDR图像信号WDR2。
图5是根据本发明构思的示例实施例的针对WDR图像的噪声级别控制设备的框图。参照图5，噪声级别控制设备100A可以包括第一 WDR图像生成模块110-1、控制信号生成器120和第二WDR图像生成模块130。根据本发明构思的示例实施例，噪声级别控制设备100A可以在图1的桥接电路300、图2的CMOS图像传感器200-1、或图3 的ISP 421中实现。
除了在图5中第一WDR图像生成模块110-1还包括插值模块112 和114以外，图5的噪声级别控制设备100A的结构和操作与图4的噪声级别控制设备100的结构和操作大体上相同或相似。
第一WDR图像生成模块110-1可以包括第一线性化模块111、第一插值模块112、第二线性化模块113、第二插值模块114和合成模块 115-1。第一线性化模块111可以使长时间曝光图像信号LEI线性化以生成长时间曝光图像信号LLEI，并且第一插值模块112可以对线性化的长时间曝光图像信号LLEI进行插值以生成第一插值信号ILEI。
第二线性化模块113可以使短时间曝光图像信号SEI线性化以生成线性化的短时间曝光图像信号LSEI，并且第二插值模块114可以对线性化的短时间图像信号LSEI进行插值以生成第二插值信号ISEI。根据本发明构思的示例实施例，第一插值信号ILEI和第二插值信号 ISEI可以使具有全分辨率的图像信号。
合成模块115-1可以从第一插值模块112接收第一插值信号ILEI，从第二插值模块114接收第二插值信号ISEI，并且对第一插值信号 ILEI与第二插值信号ISEI进行合成以生成第一WDR图像信号 WDR1。当对插值信号ILEI和ISEI进行合成时，合成模块115-1可以向第一插值信号ILEI施加第一权重值(例如图6的WL)并且向第二插值信号施加第二权重值WS。此时，第一权重值(例如图6的WL) 与第二权重值WS的和可以是1。
合成模块115-1可以向第二WDR图像生成模块130发送第一 WDR图像WDR1，并且向控制信号生成器120发送第一WDR图像信号WDR1和第二权重值WS。
图6是根据本发明构思的示例实施例的图4至图5中示出的合成模块的框图，图7是示出了根据本发明构思的示例实施例的在图4至图5中示出的合成模块执行的合成过程的示意图，以及图8是示出了根据本发明构思的示例实施例的由合成模块执行的图7中示出的合成过程的表格。
参照图6，合成模块115或115-1可以包括第一合成权重生成器 116-1、第二合成权重生成器116-2、第一权重施加模块117-1、第二权重施加模块117-2和WDR图像生成器118。根据本发明构思的示例实施例，第一合成权重生成器116-1可以从第一线性模块111接收线性化的长时间曝光图像信号LLEI，并且基于线性化的长时间曝光图像信号LLEI的亮度值、锐度值、对比度值等中的至少一个来生成第一权重值WL。
根据本发明构思的示例实施例，第一合成权重生成器116-1可以从第一插值模块112接收第一插值信号ILEI，并且基于第一插值信号 ILEI的亮度值、锐度值、对比度值等中的至少一个来生成第一权重值。例如，第一权重值WL可以基于长时间曝光图像信号LLEI的亮度值、锐度值、对比度值等中的至少一个来确定。
第一权重施加模块117-1向线性化的长时间曝光图像信号LLEI 或第一插值信号ILEI施加从第一合成权重生成器116-1生成的第一权重值WL以生成第一图像信号WLEI。根据本发明构思的示例实施例，第二合成权重生成器116-2可以从第二线性化模块113接收线性化的短时间曝光图像信号LSEI，并且基于线性化的短时间曝光图像信号 LSEI的亮度值、锐度值、对比度值等中的至少一个来生成第二权重值 WS。
根据本发明构思的示例实施例，第二合成权重生成器116-2可以从第二插值模块114接收第二插值信号ISEI，并且基于第二插值信号 ISEI的亮度值、锐度值、对比度值等中的至少一个来生成第二权重值 WS。例如，可以基于短时间曝光图像信号SEI的亮度值、锐度值、对比度值等中的至少一个来确定第二权重值WS。
第二权重施加模块117-2向线性化的短时间曝光图像信号LSEI 或第二插值信号ISEI施加由第二合成权重生成器116-2生成的第二权重值WS以生成第二图像信号WSEI。WDR图像生成器118可以从第一权重施加模块117-1接收第一图像信号WLEI，从第二权重施加模块117-2接收第二图像信号WSEI，并且对第一图像信号WLEI和第二图像信号WSEI进行合成以生成第一WDR图像信号WDR1。
参照图4至图7，为便于描述，假设线性化的长时间曝光图像信号LLEI(或者是在本发明构思的示例实施例中的第一插值信号ILEI) 和线性化的短时间曝光图像信号LSEI(或者是本发明构思的示例实施例中的第二插值信号ISEI)中每一个的一个帧包括16个像素。
包括在线性化的长时间曝光图像信号LLEI(或者是在本发明构思的示例实施例中的第一插值信号ILEI)的一个帧中的16个像素分别具有亮度值IL1至IL16，并且当向线性化的长时间曝光图像信号LLEI (或者是在本发明构思的示例实施例中的第一插值信号ILEI)施加第一权重值WL时，包括在第一图像信号WLEI的一个帧中的16个像素分别具有例如使用第一权重值WL调节的亮度值IL1’至IL16’。
包括在线性化的短时间曝光图像信号LSEI(或者是本发明构思的示例实施例中的第二插值信号ISEI)的一个帧中的16个像素分别具有亮度值IS1至IS16，并且当向线性化的短时间曝光图像信号LSEI (或者是本发明构思的示例实施例中的第二插值信号ISEI)施加第二权重值WS时，包括在第二图像信号WSEI的一个帧中的16个像素分别具有例如使用第二权重值WS调节的亮度值IS1’至IS16’。通过对第一图像信号WLEI与第二图像信号WSEI进行合成来生成第一WDR 图像信号WDR1，并且包括在第一WDR图像信号WDR1的一个帧中的16个像素分别具有合成的亮度值SY1至SY16。
参照图7至图8，例如，包括在线性化的短时间曝光图像信号LSEI 或第二插值信号ISEI中的第一像素的亮度值是“IS2”，并且，包括在线性化的长时间曝光图像信号LLEI或第一插值信号ILEI中并与第一像素合成的第二像素的亮度值是“IL2”，包括在第一WDR图像信号 WDR1中并通过对第一像素与第二像素进行合成来生成的第三像素的亮度值SY2是WS2*IS2+WL2*IL2(其中，符号‘*’表示相乘)。
图9是根据本发明构思的示例实施例的在图4至图5中示出的控制信号生成器的框图，并且图10是根据本发明构思的示例实施例的在图4至图5中示出的控制信号生成器的框图。
参照图4至图6以及图9，控制信号生成器120可以包括基准权重生成器121、降噪强度控制信号生成器123和噪声增益控制信号生成器125。基准权重生成器121可以基于短时间曝光图像信号SEI的亮度值、锐度值、对比度值等中的至少一个来生成基准权重值WS_R。
降噪强度控制信号生成器123可以从基准权重生成器121接收基准权重值WS_R，并且从合成模块115或115-1接收第一WDR图像信号WDR1和第二权重值WS。降噪强度控制信号生成器123可以计算第二权重值WS与基准权重值WS_R之间的差，并且使用第一WDR 图像信号WDR1以及第二权重值WS与基准权重值WS_R之间的差来生成降噪强度控制信号NR_strength。
降噪强度控制信号生成器123可以向噪声增益控制信号生成器 125和第二WDR图像生成模块130中的每一个发送生成的降噪强度控制信号NR_strength。噪声增益控制信号生成器123可以从降噪强度控制信号生成器123接收降噪强度控制信号NR_strength，并且从合成模块115或115-1接收第一WDR图像信号WDR1和第二权重值WS。
噪声增益控制信号生成器125可以使用降噪强度控制信号 NR_strength、第二权重值WS和第一WDR图像信号WDR1来生成噪声增益控制信号NFC。噪声增益控制信号生成器125可以向第二WDR 图像生成模块130发送生成的噪声增益控制信号NGC。
参照图4至图6以及图10，控制信号生成器120-1可以包括基准权重提取器122、降噪强度控制信号生成器123和噪声增益控制信号生成器125。除了图9的基准权重生成器121被替换为图10的基准权重提取器122，图10中示出的控制信号生成器120-1的结构和操作与图9中示出的控制信号生成器120的结构和操作大体上相同。
基准权重提取器122可以使用存储在基准权重提取器122中的查找表LUT 122-1来提取与短时间曝光图像信号SEI相对应的基准权重值WS_R。
图11是示出了根据本发明构思的示例实施例的基准权重值函数的曲线。图11中示出的曲线WS_R(I)或WL_R(I)的横轴可以是图像信号的亮度值I，并且图11中示出的曲线WS_R(I)或WL_R(I)的纵轴可以是合成权重值。
参照图4至图6、图9以及图11，基准权重生成器121可以根据短时间曝光图像信号SEI的亮度值I来生成基准权重值函数WS_R(I)。例如，可以根据短时间曝光图像信号SEI的亮度值I来确定与基准权重值函数WS_R(I)的纵轴中的值相对应的基准权重值WS_R。根据本发明构思的示例实施例，基准权重生成器121可以根据长时间曝光图像信号LEI的亮度值I来生成基准权重值函数WL_R(I)。
根据本发明构思的示例实施例，参照图4至图6、图10以及图11，基准权重提取器122可以使用基于短时间曝光图像信号SEI的亮度值 I从查找表122-1中提取出的值来生成基准权重值函数WS_R(I)。根据本发明构思的示例实施例，基准权重提取器122可以在从查找表122-1 中提取的值中直接确定与短时间曝光图像信号SEI的亮度值相对应的基准权重值WS_R。
【式1】
Figure BDA0000854731150000161
参照图11和式1，当短时间曝光图像信号SEI的亮度值I在从“0”到第一亮度值I1的范围内时，基准权重值函数WS_R(I)具有“0”的基准权重值WS_R。当短时间曝光图像信号SEI的亮度值I在从第一亮度值I1到比第一亮度值I1大的第二亮度值I2的范围内时，基准权重值函数WS_R(I)具有线性增加的基准权重值WS_R。当短时间曝光图像信号SEI的亮度值I等于或大于第二亮度值I2时，基准权重值函数 WS_R(I)具有“1”的基准权重值WS_R。
例如，在暗区域(例如室内)中的短时间曝光图像信号SEI的基准权重值WS_R接近于“0”，并且在亮区域(例如室外)中的短时间曝光图像信号SEI的基准权重值WS_R接近于“1”。
【式2】
WS_R(I)+WS_L(I)＝1
参照图11、式1和式2，基于短时间曝光图像信号SEI的亮度值 I生成的基准权重值函数WS_R(I)与基于长时间曝光图像信号LEI的亮度值I生成的基准权重值函数WL_R(I)的和可以是“1”。因此，当图像信号具有恒定的亮度值时，根据本发明构思示例实施例的针对WDR 图像的噪声级别控制设备100或100A可以通过分别向短时间曝光图像信号SEI和长时间曝光图像信号LEI施加权重值WS和WL，并且对分别施加了权重值WS和WL的两个图像信号SEI与LEI进行合成，来生成其中亮区域和暗区域二者看起来锐利的图像。
图12是示出了根据本发明构思示例实施例的计算基准权重值与第二权重值之差的过程的曲线。图12中示出的曲线WS_R(I)的横轴可以是图像信号的亮度值，并且曲线WS_R(I)的纵轴可以是合成权重值。参照图4至图12，降噪强度控制信号生成器123基于第二权重值WS 与基准权重值WS_R之间的差来生成降噪强度控制信号NR_strength。噪声增益控制信号生成器125可以使用降噪强度控制信号NR_strength 来生成噪声增益控制信号NGC。
【式3】
Figure BDA0000854731150000171
参照式3，“D(I)”是表示根据短时间曝光图像信号SEI的亮度值I 的第二权重值函数WS(I)与根据短时间曝光图像信号SEI的亮度值I 的基准权重值函数WS_R(I)之间的差的差分函数D(I)。
当第二权重值函数WS(I)的值等于或大于基准权重值函数 WS_R(I)的值时，差分函数D(I)具有“WS(I)-WS_R(I)”的值。当第二权重值函数WS(I)的值小于基准权重值函数WS_R(I)的值时，差分函数 D(I)具有“0”的值，并且在生成降噪强度控制信号NR_strength期间不考虑第二权重值WS与基准权重值WS_R之间的差。例如，参照图12，当短时间曝光图像信号SEI的亮度值I是“I3”时，差分函数D(I)具有“WS(I3)-WS_R(I3)”的值。
【式4】
S(I)＝SL(I)×(1+(wd·D(I))·(wl·(MaxCode-I)))
参照式4，“S(I)”是根据短时间曝光图像信号SEI的亮度值I的降噪强度控制信号NR_strength的函数。“SL(I)”可以是通过只考虑图像信号的亮度值获得的降噪强度控制信号的函数。“wd”可以是通过考虑式3中示出的D(I)获得的权重值因子。“wi”可以是通过考虑短时间曝光图像信号SEI的亮度值I获得的权重值因子。“MaxCode”可以是短时间曝光图像信号SEI的最大比特值(例如当短时间曝光图像信号SEI 是10比特时，最大比特值是“1023”。
【式5】
Figure BDA0000854731150000181
参照式5，‘G(I)’可以是根据短时间曝光图像信号SEI的亮度值I 的噪声增益控制信号NGC的函数。“S(I)”可以是在式4中描述的降噪强度控制信号NR_strength的函数。“wg”可以是通过考虑式4中示出的S(I)获得的权重值因子。GL(I)可以是通过只考虑图像信号的亮度值来获得的噪声控制信号的函数。
参照图4至图12，以及式3至式5，当第二权重值WS大于基准权重值WS_R时，随着第二权重值WS与基准权重值WS_R之间的差变大，控制信号生成器120可以生成更大的降噪强度控制信号 NR_strength和更小的噪声增益控制信号NGC。此外，当第二权重值 WS大于基准权重值WS_R时，随着第二权重值WS与基准权重值 WS_R之间的差变小，控制信号生成器120可以生成更小的降噪强度控制信号NR_strength和更大的噪声增益控制信号NGC。
图13是示出了根据本发明构思示例实施例的针对WDR图像的噪声级别控制设备的操作的流程图。参照图4至图13，噪声级别控制设备100或100A可以基于长时间曝光图像信号LEI的亮度值、锐度值、对比度值等中的至少一个来确定第一权重值WL，并且可以基于短时间曝光图像信号SEI的亮度值、锐度值、对比度值等中的至少一个来确定第二权重值WS(S100)。
噪声级别控制设备100或100A可以使用第一权重值WL和长时间曝光图像信号LEI来生成第一图像信号WLEI，并且使用第二权重值WS和短时间曝光图像信号SEI来生成第二图像信号WSEI(S110)。噪声级别控制设备100或100A可以通过对第一图像信号WLEI与第二图像信号WSEI进行合成来生成第一WDR图像信号WDR1(S120)。
噪声级别控制设备100或100A可以计算第二权重值WS与基准权重值WS_R之间的差，并且根据计算的结果来生成控制信号 NR_strength和NGC(S130)。噪声级别控制设备100或100A可以使用控制信号NR_strength和NGC来调节第一WDR图像信号WDR1的噪声级别，并且根据该调节的结果来生成第二WDR图像信号WDR2 (S140)。
图14是示出了根据本发明构思示例实施例的在图4至图5中示出的第二WDR图像生成模块的操作的流程图。参照图4至图14，响应于基于第二权重值WS与基准权重值WS_R之间的差值生成的降噪强度控制信号NR_strength，第二WDR图像生成模块130可以从第一 WDR图像信号WDR1中提取无噪声图像信号NFS和噪声图像信号 NS(S200)。
响应于基于降噪强度控制信号NR_strength生成的噪声增益控制信号NGC，第二WDR图像生成模块130可以生成针对第一WDR图像信号WDR1的噪声增益NG(S210)。第二WDR图像生成模块130 可以通过将噪声图像信号NS与噪声增益NG相乘来生成最终噪声图像信号，并且通过将最终噪声图像信号与噪声增益NG相加来生成第二WDR图像信号WDR2(S220)。
图15是根据本发明构思示例实施例的图像处理系统的框图。参照图1至图15，图像处理系统20可以实现为可使用或支持移动产业处理器接口(MIPI)的图像处理系统。图像处理系统20可以实现为移动计算设备。
图像处理系统20可以包括CMOS图像传感器200、AP 400和显示器500。参照图1至图14描述的针对WDR图像的噪声级别控制设备100或100A可以在CMOS图像传感器200或在AP400中实现。
在AP 400中实现的相机串行接口(CSI)主机412可以通过CSI 来执行与CMOS图像传感器200的CSI设备210的串行通信。根据本发明构思的示例实施例，CSI主机412可以包括解串行化器DES，并且CSI设备210可以包括串行化器SER。
在AP 400中实现的显示器串行接口(DSI)主机411可以通过 DSI与显示器500的DSI设备510执行串行通信。根据本发明构思的示例实施例，DSI主机411可以包括串行化器SER，并且DSI设备510 可以包括解串行化器DES。例如，可以通过CSI向AP 400发送从CMOS图像传感器200输出的图像数据(例如图1的IDATA)。AP 400可以处理发送的图像数据(例如图1的IDATA)，并且通过DSI向显示器 500发送经处理的图像数据。
图像处理系统20还可以包括能够与AP 400通信的RF芯片440。图像处理系统20的物理层(PHY)和RF芯片440的物理层(PHY) 441可以根据MIPI DigRF来相互发送或接收数据。CPU 414可以控制 DSI主机411、CSI主机412和PHY 413中的每一个的操作，并且包括一个或多个核。
AP 400可以实现为集成电路(IC)或片上系统(SoC)，并且可以是能够控制CMOS图像传感器200的操作的处理器或主机。
图像处理系统20可以包括全球定位系统(GPS)接收机450、易失性存储器452(例如动态随机存取存储器(DRAM等等))、实现为非易失性存储器(例如基于闪存的存储器等)的数据存储设备454、麦克风456、和/或扬声器458。数据存储设备454可以实现为可拆卸的外部存储器。此外，数据存储设备454可以实现为通用闪存(UFS)、多媒体卡(MMC)、嵌入式MMC(eMMC)、USB闪电驱动、存储卡等等。
此外，图像处理系统20可以使用至少一个通信协议(或通信标准) 与外部设备通信，例如超宽带(UWB)460、无线局域网(WLAN) 462、全球微波互联接入(WiMAX)464、长期演进(LTE)等等。根据本发明构思的示例实施例，图像处理系统20还可以包括近场通信 (NFC)模块、Wi-Fi模块和蓝牙模块中的至少一个。
图16是根据本发明构思示例实施例的图像处理系统的框图。参照图1至图16，图像处理系统30可以包括CMOS图像传感器200、处理器610、存储器620、显示器500和接口640。参照图1至图14描述的针对WDR图像的噪声级别控制设备100或100A可以在处理器 610中或在CMOS图像传感器200中实现。
处理器610可以控制CMOS图像传感器200的操作。例如，处理器610可以处理从CMOS图像传感器200输出的像素信号以生成图像数据。
存储器620可以存储用于控制CMOS图像传感器200的操作的程序和由处理器610生成的图像数据。处理器610可以执行存储在存储器620中的程序。例如，存储器620可以实现为易失性存储器或非易失性存储器。显示器500可以显示从处理器610或存储器620输出的图像数据。
接口640可以实现为用于输入或输出图像数据的接口。根据本发明构思的示例实施例，接口640可以实现为无线电接口或无线接口。
根据本发明构思的示例实施例的针对宽动态范围(WDR)图像的噪声级别控制设备可以在对具有相互不同的曝光时间的图像进行合成时调节这些图像的边缘区域中的噪声级别，并因此可以提高WDR图像的图像质量。
虽然参照本发明构思的示例实施例对本发明构思进行了具体示出和描述，但是本发明构思并不限于上述内容。本领域普通技术人员应当理解的是，在不脱离权利要求书限定的本发明构思的精神和范围的情况下，可以实现形式上和细节上的各种改变。

Claims (20)

1.一种图像处理设备，包括：
第一宽动态范围“WDR”图像生成模块，被配置为使用第一权重值来处理长时间曝光图像信号，根据对所述长时间曝光图像信号的处理来生成第一图像信号，使用第二权重值来处理短时间曝光图像信号，根据对所述短时间曝光图像信号的处理来生成第二图像信号，并且对所述第一图像信号与所述第二图像信号进行合成以生成第一WDR图像信号；
控制信号生成器，被配置为计算所述第二权重值与基准权重值之间的差，并且根据所述计算的结果来生成控制信号；以及
第二WDR图像生成模块，被配置为使用所述控制信号来调节所述第一WDR图像信号的噪声级别，并且根据所述调节的结果来生成第二WDR图像信号，
其中，使用第一曝光时间来生成所述长时间曝光图像信号，并且
其中，使用比所述第一曝光时间短的第二曝光时间来生成所述短时间曝光图像信号；
其中，所述控制信号包括降噪强度控制信号和噪声增益控制信号，
其中，当所述第二权重值大于所述基准权重值时，随着所述第二权重值与所述基准权重值之间的差增大，所述控制信号生成器增大所述降噪强度控制信号并且减小所述噪声增益控制信号；
其中，当所述第二权重值大于所述基准权重值时，随着所述第二权重值与所述基准权重值之间的差减小，所述控制信号生成器减小所述降噪强度控制信号并且增大所述噪声增益控制信号。
2.根据权利要求1所述的设备，其中，所述第一WDR图像生成模块对所述短时间曝光图像信号和所述长时间曝光图像信号中的每一个进行线性化，通过向线性化的长时间曝光图像信号施加所述第一权重值来生成所述第一图像信号，并且通过向线性化的短时间曝光图像信号施加所述第二权重值来生成所述第二图像信号。
3.根据权利要求2所述的设备，其中，所述第一WDR图像生成模块对线性化的长时间曝光图像信号进行插值以生成第一插值信号，向所述第一插值信号施加所述第一权重值以生成所述第一图像信号，对线性化的短时间曝光图像信号进行插值以生成第二插值信号，并且向所述第二插值信号施加所述第二权重值以生成所述第二图像信号。
4.根据权利要求1所述的设备，其中，所述第一权重值与所述第二权重值的和是1。
5.根据权利要求1所述的设备，其中，基于所述长时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定所述第一权重值，并且
其中，基于所述短时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定所述第二权重值。
6.根据权利要求1所述的设备，其中，基于所述短时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定所述基准权重值。
7.根据权利要求1所述的设备，其中，从存储在所述控制信号生成器中的查找表中提取所述基准权重值。
8.根据权利要求1所述的设备，其中，所述控制信号生成器包括：
基准权重模块，被配置为确定所述基准权重值；
降噪强度控制信号生成器，被配置为计算所述第二权重值与所述基准权重值之间的差，并且通过使用所述第一WDR图像信号以及所述第二权重值与所述基准权重值之间的差来生成所述降噪强度控制信号；以及
噪声增益控制信号生成器，被配置为通过使用所述降噪强度控制信号、所述第二权重值和所述第一WDR图像信号来生成所述噪声增益控制信号。
9.根据权利要求1所述的设备，其中，所述第二WDR图像生成模块包括：
降噪电路，被配置为响应于所述降噪强度控制信号，从所述第一WDR图像信号中提取无噪声图像信号和噪声图像信号；
噪声增益生成器，被配置为响应于所述噪声增益控制信号，生成针对所述第一WDR图像信号的噪声增益；以及
运算模块，被配置为通过将所述噪声图像信号与所述噪声增益相乘来生成最终噪声图像信号，并且通过将所述最终噪声图像信号与所述无噪声图像信号相加来生成所述第二WDR图像信号。
10.一种图像处理系统，包括：
图像传感器，被配置为输出长时间曝光图像信号和短时间曝光图像信号；以及
噪声级别控制设备，被配置为处理所述长时间曝光图像信号和所述短时间曝光图像信号，调节第一宽动态范围“WDR”图像信号的噪声级别，并且根据所述调节的结果来生成第二WDR图像信号，
其中，所述噪声级别控制设备包括：
第一WDR图像生成模块，被配置为使用第一权重值来处理所述长时间曝光图像信号，根据对所述长时间曝光图像信号的处理的结果来生成第一图像信号，使用第二权重值来处理所述短时间曝光图像信号，根据对所述短时间曝光图像信号的处理的结果来生成第二图像信号，并且对所述第一图像信号与所述第二图像信号进行合成以生成所述第一WDR图像信号；
控制信号生成器，被配置为计算所述第二权重值与基准权重值之间的差，并且根据所述计算的结果来生成控制信号；以及
第二WDR图像生成模块，被配置为使用所述控制信号来调节所述第一WDR图像信号的噪声级别，并且根据所述调节的结果来生成所述第二WDR图像信号，
其中，使用第一曝光时间来生成所述长时间曝光图像信号，并且
其中，使用比所述第一曝光时间短的第二曝光时间来生成所述短时间曝光图像信号；
其中，所述控制信号包括降噪强度控制信号和噪声增益控制信号，
其中，当所述第二权重值大于所述基准权重值时，随着所述第二权重值与所述基准权重值之间的差增大，所述控制信号生成器增大所述降噪强度控制信号并且减小所述噪声增益控制信号；
其中，当所述第二权重值大于所述基准权重值时，随着所述第二权重值与所述基准权重值之间的差减小，所述控制信号生成器减小所述降噪强度控制信号并且增大所述噪声增益控制信号。
11.根据权利要求10所述的图像处理系统，其中，所述噪声级别控制设备实现为集成电路或芯片。
12.根据权利要求10所述的图像处理系统，其中，所述噪声级别控制设备包括在所述图像传感器中。
13.根据权利要求10所述的图像处理系统，其中，所述噪声级别控制设备包括在应用处理器中。
14.根据权利要求10所述的图像处理系统，其中，基于所述长时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定所述第一权重值，并且
其中，基于所述短时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定所述第二权重值。
15.根据权利要求10所述的图像处理系统，其中，基于所述短时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定所述基准权重值。
16.根据权利要求10所述的图像处理系统，其中，从存储在所述控制信号生成器中的查找表中提取所述基准权重值。
17.根据权利要求10所述的图像处理系统，其中，所述第二WDR图像生成模块包括：
降噪电路，被配置为响应于所述降噪强度控制信号，从所述第一WDR图像信号中提取无噪声图像信号和噪声图像信号；
噪声增益生成器，被配置为响应于所述噪声增益控制信号，生成针对所述第一WDR图像信号的噪声增益；以及
运算模块，被配置为通过将所述噪声图像信号与所述噪声增益相乘来生成最终噪声图像信号，并且通过将所述最终噪声图像信号与所述无噪声图像信号相加来生成所述第二WDR图像。
18.一种图像处理方法，包括：
基于使用第一曝光时间生成的长时间曝光图像信号来确定第一权重值；
基于使用比所述第一曝光时间短的第二曝光时间生成的短时间曝光图像信号来确定第二权重值；
基于所述第一权重值和所述长时间曝光图像信号来生成第一图像信号；
基于所述第二权重值和所述短时间曝光图像信号来生成第二图像信号；
通过将所述第一图像信号与所述第二图像信号组合来生成第三图像信号；
使用控制信号来调节所述第三图像信号的噪声级别；以及
基于所述第三图像信号的调节的结果来生成第四图像信号；
其中，所述控制信号包括基于所述第二权重值与基准权重值之间的差而生成的降噪强度控制信号和噪声增益控制信号；
其中，当所述第二权重值大于所述基准权重值时，随着所述第二权重值与所述基准权重值之间的差增大，增大所述降噪强度控制信号并且减小所述噪声增益控制信号；
其中，当所述第二权重值大于所述基准权重值时，随着所述第二权重值与所述基准权重值之间的差减小，减小所述降噪强度控制信号并且增大所述噪声增益控制信号。
19.根据权利要求18所述的方法，其中，基于所述长时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定所述第一权重值，并且
其中，基于所述短时间曝光图像信号的亮度值、锐度值或对比度值中的至少一个来确定所述第二权重值。
20.根据权利要求18所述的方法，其中，所述调节所述第三图像信号的噪声级别包括：
使用所述降噪强度控制信号从所述第一图像信号中提取无噪声图像信号和噪声图像信号；
使用所述噪声增益控制信号生成与所述第一图像信号相对应的噪声增益；
使用所述噪声图像信号和所述噪声增益生成最终噪声图像信号；以及
使用所述最终噪声图像信号和所述无噪声图像信号生成所述第四图像信号。
CN201510818675.1A 2014-11-24 2015-11-23 一种控制设备以及包括该设备的图像处理系统 Active CN105635605B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140164118A KR102273656B1 (ko) 2014-11-24 2014-11-24 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
KR10-2014-0164118 2014-11-24

Publications (2)

Publication Number Publication Date
CN105635605A CN105635605A (zh) 2016-06-01
CN105635605B true CN105635605B (zh) 2020-05-01

Family

ID=55913992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510818675.1A Active CN105635605B (zh) 2014-11-24 2015-11-23 一种控制设备以及包括该设备的图像处理系统

Country Status (5)

Country Link
US (1) US9973709B2 (zh)
JP (1) JP2016100895A (zh)
KR (1) KR102273656B1 (zh)
CN (1) CN105635605B (zh)
DE (1) DE102015221176A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102684223B1 (ko) * 2016-12-12 2024-07-11 삼성전자주식회사 광역 역광 보정 영상 촬상 방법, 이를 수행하는 영상 촬상 장치 및 이를 포함하는 전자 시스템
KR102648747B1 (ko) * 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US10664960B1 (en) * 2019-04-15 2020-05-26 Hanwha Techwin Co., Ltd. Image processing device and method to perform local contrast enhancement
KR102664341B1 (ko) 2019-08-02 2024-05-09 한화비전 주식회사 움직임 벡터 산출 장치 및 방법
CN110891149B (zh) * 2019-11-13 2021-07-23 深圳市道通智能航空技术股份有限公司 高动态范围图像自动曝光方法及无人飞行器
KR20210101941A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 전자 장치 및 그의 hdr 영상 생성 방법
CN112887639A (zh) * 2021-01-18 2021-06-01 Oppo广东移动通信有限公司 图像处理方法、装置、系统、电子设备以及存储介质
KR20220152019A (ko) 2021-05-07 2022-11-15 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법
CN113572972B (zh) * 2021-07-05 2022-04-12 深圳市阿达视高新技术有限公司 高动态范围图像合成方法、系统、图像处理设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409104B2 (en) * 2002-07-18 2008-08-05 .Sightic Vista Ltd Enhanced wide dynamic range in imaging
CN101860667A (zh) * 2010-05-06 2010-10-13 中国科学院西安光学精密机械研究所 一种快速去除图像中混合噪声的方法
CN102385746A (zh) * 2010-09-06 2012-03-21 索尼公司 图像处理装置及其方法,以及程序

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
KR100765751B1 (ko) * 2005-06-08 2007-10-15 삼성전자주식회사 비월 주사 방식의 ｃｍｙｇ 컬러 포맷의 컬러 보간 방법 및그 장치
JP4941285B2 (ja) 2007-02-20 2012-05-30 セイコーエプソン株式会社 撮像装置、撮像システム、撮像方法及び画像処理装置
JP2009049547A (ja) 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム
JP2009071621A (ja) * 2007-09-13 2009-04-02 Panasonic Corp 画像処理装置及びデジタルカメラ
KR20090111065A (ko) * 2008-04-21 2009-10-26 엘지전자 주식회사 영상 합성 장치
JP2010141653A (ja) 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
US8346008B2 (en) 2009-06-09 2013-01-01 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
JP5625284B2 (ja) * 2009-08-10 2014-11-19 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および電子機器
JP5487884B2 (ja) 2009-11-05 2014-05-14 セイコーエプソン株式会社 画像処理装置及び画像処理方法
KR101665511B1 (ko) * 2010-02-11 2016-10-12 삼성전자 주식회사 광역 역광 보정 하드웨어 장치 및 이를 포함하는 촬영 장치
KR101661215B1 (ko) 2010-08-16 2016-09-30 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US8994843B2 (en) * 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5050256B1 (ja) 2011-06-21 2012-10-17 オリンパス株式会社 撮像装置及び撮像方法
US8970719B2 (en) * 2011-06-23 2015-03-03 JVC Kenwood Corporation Image processing apparatus and image processing method
EP2552099B1 (en) 2011-07-27 2013-08-28 Axis AB Method and camera for providing an estimation of a mean signal to noise ratio value for an image
JP6046966B2 (ja) 2012-04-19 2016-12-21 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409104B2 (en) * 2002-07-18 2008-08-05 .Sightic Vista Ltd Enhanced wide dynamic range in imaging
CN101860667A (zh) * 2010-05-06 2010-10-13 中国科学院西安光学精密机械研究所 一种快速去除图像中混合噪声的方法
CN102385746A (zh) * 2010-09-06 2012-03-21 索尼公司 图像处理装置及其方法,以及程序

Also Published As

Publication number Publication date
US20160150146A1 (en) 2016-05-26
KR102273656B1 (ko) 2021-07-05
DE102015221176A1 (de) 2016-05-25
CN105635605A (zh) 2016-06-01
US9973709B2 (en) 2018-05-15
KR20160061612A (ko) 2016-06-01
JP2016100895A (ja) 2016-05-30

Similar Documents

Publication Publication Date Title
CN105635605B (zh) 一种控制设备以及包括该设备的图像处理系统
KR102474715B1 (ko) 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합
US9979942B2 (en) Per pixel color correction filtering
KR102480600B1 (ko) 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US9258539B2 (en) Method of calibrating automatic white balance and image capturing device performing the same
TWI750135B (zh) 鏡頭陰影校正電路、系統晶片、資料處理系統及資料處理方法
US20150030258A1 (en) System and method of corner noise reduction in an image
US11062435B2 (en) Rendering information into images
JP6552228B2 (ja) 画像表示装置及びその制御方法
KR20200069419A (ko) 이미지 신호 처리기, 이미지 신호 처리기의 동작 방법, 및 이미지 신호 처리기를 포함하는 전자 장치
US20140240541A1 (en) Image subsystem and image processing system including the same
US9774781B2 (en) Local tone mapping circuits and mobile computing devices including the same
US20180007332A1 (en) Highlight recovery in images
US10628928B2 (en) Image processing apparatus, image processing method, and storage medium for gain adjustment
KR20170037205A (ko) 이미지 센서의 파라미터 제어 방법
KR102614088B1 (ko) 이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 전자 장치
JP2019096049A (ja) 画像生成装置及び方法
US20160292825A1 (en) System and method to refine image data
KR20220010264A (ko) 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법
US20240177280A1 (en) Image processing apparatus and method of operating the same
JP2011199787A (ja) 画像処理装置及び画像処理方法
US20240098375A1 (en) Method of operating image sensor and image device performing the same
CN117011124A (zh) 增益图的生成方法、装置、电子设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant