CN104919490B - 用于图像处理的结构描述符 - Google Patents

用于图像处理的结构描述符 Download PDF

Info

Publication number
CN104919490B
CN104919490B CN201480005122.8A CN201480005122A CN104919490B CN 104919490 B CN104919490 B CN 104919490B CN 201480005122 A CN201480005122 A CN 201480005122A CN 104919490 B CN104919490 B CN 104919490B
Authority
CN
China
Prior art keywords
pixel
value
structured
block
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480005122.8A
Other languages
English (en)
Other versions
CN104919490A (zh
Inventor
S.W.哈西诺夫
C.周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104919490A publication Critical patent/CN104919490A/zh
Application granted granted Critical
Publication of CN104919490B publication Critical patent/CN104919490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

可确定图像的m×n像素块的结构描述符。m×n像素块可包含具有主像素值的主像素和具有各自的次像素值的多个次像素。结构描述符可包括多个结构指示符，其中每一个与相应的次像素相关联。各个结构指示符可以基于主像素值和关联的次像素的相应次像素值。基于结构描述符，可确定m×n像素块的结构值。基于结构值，可向m×n像素块应用图像处理。

Description

用于图像处理的结构描述符
相关申请的交叉引用
本申请要求于2013年1月17日递交的美国申请第13/743,565号的优先权，在此通过引用将该申请全部并入。
背景技术
现有的图像处理技术通过分析图像的相对较大的部分来尝试照顾到图像中的结构。结果，这些技术是计算密集的，并且对于只能访问有限的计算资源的应用(例如，移动应用)经常是不适当的。另外，现有的图像处理技术通常不实施图像结构的保留，使得它们应用的处理可导致输入和输出图像之间的图像结构中的令人不快的变化。
发明内容
可评估数字图像的一部分的结构。基于该评估，可确定该部分的结构描述符。结构描述符可表示该部分中的一个或多个像素或像素的群组之间的关系。基于结构描述符，可向图像应用图像处理。
在第一示例实施例中，可确定图像的m×n像素块的结构描述符。m×n像素块可包含具有主像素值的主像素和具有各自的次像素值的多个次像素。结构描述符可包括多个结构指示符，其中每一个与相应的次像素相关联。每个结构指示符可以基于主像素值及其关联的次像素的相应次像素值。基于结构描述符，可确定m×n像素块的结构值。基于结构值，可向m×n像素块应用图像处理。
第二示例实施例可包括用于为图像的m×n像素块确定结构描述符的装置，其中m×n像素块包含具有主像素值的主像素和具有各自的次像素值的多个次像素，其中结构描述符包括多个结构指示符，每个结构指示符与相应的次像素相关联，并且其中每个结构指示符是基于主像素值及其关联的次像素的相应次像素值的。第二示例实施例还可包括用于基于结构描述符为m×n像素块确定结构值的装置，以及用于基于结构值向m×n像素块应用图像处理的装置。
第三示例实施例可包括一种非暂态计算机可读存储介质，其上存储有程序指令，这些程序指令在被计算设备执行时使得该计算设备和/或其外设根据第一和/或第二示例实施例执行操作。
第四示例实施例可包括一种计算设备，其至少包括处理器、图像传感器和数据存储装置。数据存储装置可包含程序指令，这些程序指令在被处理器执行时使得计算设备根据第一和/或第二示例实施例操作。
本领域普通技术人员通过在适当时参考附图阅读以下详细描述，将清楚这些以及其它方面、优点和替换方案。另外，应当理解，此发明内容部分和本文档中其它地方提供的描述打算以示例而非限制的方式说明要求保护的主题。
附图说明
图1根据示例实施例描绘了数字相机设备的前视图、右侧视图和后视图。
图2根据示例实施例描绘了具有图像捕捉能力的计算设备的框图。
图3A根据示例实施例描绘了像素块和结构描述符。
图3B也根据示例实施例描绘了像素块和结构描述符。
图4A根据示例实施例描绘了从结构描述符得出的结构值。
图4B也根据示例实施例描绘了从结构描述符得出的结构值。
图5根据示例实施例描绘了流程图。
具体实施方式
数字图像的结构可以指图像中表示的物体之间的线条、边缘和/或转变的表示。例如，黑白棋盘的数字图像可表示棋盘上的黑方块与白方块之间的边缘。这些边缘可被认为是图像的结构的一部分。因此，这种黑白棋盘可以比黑白像素的随机搭配表现出更多的结构。
当使用诸如去噪、锐化和去模糊之类的图像处理技术时，一个可能的挑战是在图像中的结构与随机噪声之间进行区分。拥有此能力可允许操纵图像而不引入不合需要的伪影，例如被反转变成亮-暗边缘的暗-亮边缘，或者变得模糊或完全丢失的边缘。
作为这种伪影的一个示例，图像锐化技术可导致随机噪声被夸大并且甚至可在边缘周围引入不自然的“振铃(ringing)”伪影。作为另一示例，图像去噪技术可通过去除将会存在于理想无噪声图像中的大量结构而引起精细图像细节的丢失。在两种情况下，对局部结构的更好理解——其帮助将结构与噪声分开——都可改善经处理的图像的质量并且避免至少一些令人不快的伪影。
如以上所表明的，现有的图像处理技术对于移动应用可能是不适合的。尤其，移动应用对于计算资源(例如，处理和/或存储资源)的访问是有限的。另外，可能希望移动应用限制其对可用计算资源的使用，以使得移动设备的电池寿命可得以节省。从而，希望去噪、锐化和去模糊技术在图像结构与噪声之间有效地区分，但是以计算高效的方式来做到这一点的。
因此，这里的实施例可在图像捕捉设备上操作，例如图1和图2中所图示的数字相机设备。然而，这些实施例也可在其它类型的计算设备上操作，包括没有图像捕捉能力的计算设备。从而，数字相机设备可捕捉图像并根据这里的实施例处理该图像。可替换地或额外地，数字相机设备可捕捉图像，该图像可被发送或传送到另一计算设备，并且该计算设备可根据这里的实施例处理该图像。
在下文中，将详细描述图像捕捉设备和计算设备，然后将给出可在这种设备上高效操作的图像处理技术。
诸如相机之类的图像捕捉设备可被用作独立的硬件设备或者被集成到各种其它类型的设备中。例如，静态和视频相机现在经常被包括在无线通信设备(例如，移动电话)、平板计算机、膝上型计算机、视频游戏接口、家庭自动化设备以及甚至汽车和其它类型的车辆中。
相机的物理组件可包括光通过其进入的光圈、用于捕捉光表示的图像的记录表面以及位于光圈前方以将图像的至少一部分聚焦在记录表面上的透镜。光圈可以是固定大小的或者可调整的。在模拟相机中，记录表面可以是照相胶片。在数字图像中，记录表面可包括电子图像传感器(例如，电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)传感器)来传送捕捉的图像和/或将捕捉的图像存储在数据存储单元(例如，存储器)中。
快门可耦合到透镜或记录表面或者在透镜或记录表面附近。快门可处于闭合位置，在该位置中其阻挡光到达记录表面，或者处于打开位置，在该位置中光被允许到达记录表面。快门的位置可由快门按钮来控制。例如，快门可默认处于闭合位置中。当快门按钮被触发(例如，按压)时，快门可从闭合位置变化到打开位置达一段时间，该段时间被称为快门周期。在快门周期期间，可在记录表面上捕捉图像。在快门周期结束时，快门可变回到闭合位置。
可替换地，快门过程可以是电子的。例如，在CCD图像传感器的电子快门被“打开”之前，传感器可被复位以去除其光电二极管中的任何残余信号。在电子快门保持打开期间，光电二极管可累积电荷。在快门闭合时或者在快门闭合之后，这些电荷可被传送到长期数据存储装置。机械和电子快门的组合也是可能的。
无论类型如何，都可用除了快门按钮以外的某种东西来激活和/或控制快门。例如，可以用软键、定时器或者某个其它触发器来激活快门。这里，术语“图像捕捉”可以指导致一个或多个照片被记录的任何机械和/或电子快门处理，无论快门过程是如何被触发或控制的。
捕捉的图像的曝光可由光圈的大小、进入光圈的光的亮度和快门周期的长度(也称为快门长度或曝光长度)的组合来确定。此外，可向图像应用数字或模拟增益，从而影响曝光。在一些实施例中，术语“总曝光长度”或“总曝光时间”可以指快门长度乘以对于特定光圈大小的增益。这里，术语“总曝光时间”或者“TET”应当被解读为可能是控制由光到达记录表面引起的信号响应的量的快门长度、曝光时间或任何其它度量。
静态相机可在每次图像捕捉被触发时捕捉一个或多个图像。只要图像捕捉保持被触发(例如，在快门按钮被保持按下期间)，视频相机就可按特定速率(例如，24图像或帧每秒)连续地捕捉图像。一些数字静态相机可在相机设备或应用被激活时打开快门，并且快门可保持在此位置，直到相机设备或应用被解除激活为止。在快门打开期间，相机设备或应用可捕捉并在取景器上显示场景的表示。当触发图像捕捉时，可捕捉当前场景的一个或多个不同的数字图像。
相机——即使是模拟相机——也可包括软件来控制一个或多个相机功能和/或设定，例如光圈大小、TET、增益，等等。此外，一些相机可包括在捕捉图像期间或者在捕捉图像之后数字地处理这些图像的软件。虽然应当理解以上描述概括地提及了相机，但其可尤其与数字相机相关。
如先前所表明的，数字相机可以是独立的设备或者与其它设备集成。作为示例，图1图示了数字相机设备100的形态因素。数字相机设备100可例如是移动电话、平板计算机或者可穿戴计算设备。然而，其它实施例是可能的。数字相机设备100可包括各种元件，例如主体102、前置相机104、多元件显示器106、快门按钮108和其它按钮110。数字相机设备100还可包括后置相机112。前置相机104可位于主体102的在操作期间通常面对用户的一侧，或者与多元件显示器106在同一侧。后置相机112可位于主体102的与前置相机104相反的一侧。称相机为前置和后置是任意的，并且数字相机设备100可包括位于主体102的各侧的多个相机。
多元件显示器106可表示阴极射线管(cathode ray tube，CRT)显示器、发光二极管(light emitting diode，LED)显示器、液晶(LCD)显示器、等离子显示器或者本领域已知的任何其它类型的显示器。在一些实施例中，多元件显示器106可显示由前置相机104和/或后置相机112正捕捉的当前图像的数字表示，或者这些相机的任一者或两者可捕捉或者这些相机的任一者或两者最近捕捉的图像的数字表示。从而，多元件显示器106可充当任一相机的取景器。多元件显示器106也可支持触摸屏和/或压力敏感功能，这些功能可能够调整数字相机设备100的任何方面的设定和/或配置。
前置相机104可包括图像传感器和相关联的光学元件，例如透镜。前置相机104可提供变焦能力或者可具有固定的焦距。在其它实施例中，可互换透镜可用于前置相机104。前置相机104可具有可变机械光圈以及机械和/或电子快门。前置相机104也可被配置为捕捉静态图像、视频图像或者这两者。另外，前置相机104可表示单视场、立体或多视场相机。可以类似地或者不同地布置后置相机112。此外，前置相机104、后置相机112或者这两者可以是一个或多个相机的阵列。
前置相机104和后置相机112中的任一者或者两者可包括提供光场来照明目标物体的照明组件或者与该照明组件相关联。例如，照明组件可提供闪光灯或者对目标物体的恒定照明。照明组件也可被配置为提供包括结构光、偏振光和具有特定光谱内容的光中的一者或多者的光场。在这里的实施例的情境内，已知的用于从物体恢复三维(3D)模型的其它类型的光场是可能的。
前置相机104和后置相机112中的任一者或两者可包括环境光传感器或者与环境光传感器相关联，该环境光传感器可连续地或者不时地确定相机可捕捉的场景的环境亮度。在一些设备中，环境光传感器可用于调整与相机相关联的屏幕(例如，取景器)的显示亮度。当所确定的环境亮度较高时，可增大屏幕的亮度水平以使得屏幕更易于观看。当所确定的环境亮度较低时，可减小屏幕的亮度水平，这也使得屏幕更易于观看，而且可能节省电力。此外，环境光传感器的输入可用于确定关联的相机的TET，或者用于帮助此确定。
数字相机设备100可被配置为使用多元件显示器106以及前置相机104或后置相机112的任一者来捕捉目标物体的图像。捕捉的图像可以是多个静态图像或视频流。图像捕捉可通过激活快门按钮108、按压多元件显示器106上的软键或者通过某种其它机制来触发。取决于实现方式，可按特定的时间间隔自动捕捉图像，例如在按压快门按钮108时，在目标物体有适当照明条件时，在将数字相机设备100移动了预定距离时，或者根据预定的捕捉计划。
如以上所表明的，数字相机设备100——或者另一类型的数字相机——的功能可被集成到计算设备中，例如无线通信设备、平板计算机、膝上型计算机等等。为了示例，图2是示出可包括相机组件224的示例计算设备200的一些组件的简化框图。
作为示例而非限制，计算设备200可以是蜂窝移动电话(例如，智能电话)、静态相机、视频相机、传真机、计算机(例如桌面型、笔记本、平板或手持式计算机)、个人数字助理(personal digital assistant，PDA)、家庭自动化组件、数字视频记录器(digital videorecorder，DVR)、数字电视、遥控、可穿戴计算设备或者配备有至少一些图像捕捉和/或图像处理能力的一些其它类型的设备。应当理解，计算设备200可表示诸如数字相机之类的物理相机设备，相机应用以软件形式在其上操作的特定物理硬件平台，或者被配置为执行相机功能的硬件和软件的其它组合。
如图2中所示，计算设备200可包括通信接口202、用户界面204、处理器206、数据存储装置208和相机组件224，它们全都可通过系统总线、网络或其它连接机制210通信地链接在一起。
通信接口202可起到允许计算设备200利用模拟或数字调制与其它设备、接入网络和/或传输网络通信的作用。从而，通信接口202可促进电路交换和/或封包交换通信，例如普通老式电话服务(plain old telephone service，POTS)通信和/或互联网协议(Internet protocol，IP)或者其它封包化通信。例如，通信接口202可包括被布置用于与无线接入网络或接入点的无线通信的芯片集和天线。另外，通信接口202可采取有线接口的形式或者包括有线接口，例如以太网、通用串行总线(Universal Serial Bus，USB)或者高清晰度多媒体接口(High-Definition Multimedia Interface，HDMI)端口。通信接口202也可采取无线接口的形式或者包括无线接口，例如Wifi、全球定位系统(globalpositioning system，GPS)或者广域无线接口(例如，WiMAX或3GPP长期演进(Long-TermEvolution，LTE))。然而，在通信接口202上可使用其它形式的物理层接口和其它类型的标准或专有通信协议。另外，通信接口202可包括多个物理通信接口(例如，Wifi接口、接口和广域无线接口)。
用户界面204可起到允许计算设备200与人类或非人类用户交互(例如从用户接收输入和向用户提供输出)的作用。从而，用户界面204可包括输入组件，例如小键盘、键盘、触摸敏感或压力敏感面板、计算机鼠标、轨迹球、操纵杆、麦克风，等等。用户界面204还可包括一个或多个输出组件，例如显示屏，该显示屏例如可与压力敏感面板相结合。显示屏可基于CRT、LCD和/或LED技术，或者现在已知或以后开发的其它技术。用户界面204还可被配置为经由扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机和/或其它类似的设备生成(一个或多个)可听输出。
在一些实施例中，用户界面204可包括为计算设备200支持的静态相机和/或视频相机功能充当取景器的显示器。此外，用户界面204可包括一个或多个按钮、开关、旋钮和/或拨盘，它们促进相机功能的配置和聚焦以及图像的捕捉(例如，捕捉图片)。有可能这些按钮、开关、旋钮和/或拨盘中的一些或全部被实现为压力敏感面板上的功能。
处理器206可包括一个或多个通用处理器——例如，微处理器，和/或一个或多个专用处理器——例如，数字信号处理器(digital signal processor，DSP)、图形处理单元(graphics processing unit，GPU)、浮点单元(floating point unit，FPU)、网络处理器或者专用集成电路(application-specific integrated circuit，ASIC)。在一些情况中，专用处理器可能够进行图像处理、图像对齐和合并图像，等等。数据存储装置208可包括一个或多个易失性和/或非易失性存储组件，例如磁性、光学、闪存或有机存储装置，并且可全部或部分与处理器206集成。数据存储装置208可包括可移除和/或不可移除组件。
处理器206可能够执行存储在数据存储装置208中的程序指令218(例如，编译的或未编译的程序逻辑和/或机器代码)以实现这里描述的各种功能。因此，数据存储装置208可包括非暂态计算机可读介质，其上存储有程序指令，这些程序指令在被计算设备200执行时使得计算设备200实现本说明书和/或附图中公开的任何方法、过程或功能。处理器206对程序指令218的执行可导致处理器206使用数据212。
作为示例，程序指令218可包括操作系统222(例如，操作系统内核、(一个或多个)设备驱动器和/或其它模块)和安装在计算设备200上的一个或多个应用程序220(例如，相机功能、地址簿、电子邮件、web浏览、社交网络和/或游戏应用)。类似地，数据212可包括操作系统数据216和应用数据214。操作系统数据216可主要可被操作系统222访问，并且应用数据214可主要可被应用程序220中的一个或多个访问。应用数据214可被布置在计算设备200的用户可见或者对计算设备200的用户隐藏的文件系统中。
应用程序220可通过一个或多个应用编程接口(application programminginterface，API)与操作系统222通信。这些API可例如促进应用程序220读取和/或写入应用数据214，经由通信接口202发送或接收信息，在用户界面204上接收和/或显示信息，等等。
在一些方言中，应用程序220可被简称为“app”。此外，应用程序220可通过一个或多个在线应用商店或应用市场可被下载到计算设备200。然而，应用程序也可按其它方式被安装在计算设备200上，例如经由web浏览器或通过计算设备200上的物理接口(例如，USB端口)。
相机组件224可包括但不限于光圈、快门、记录表面(例如，照相胶片和/或图像传感器)、透镜和/或快门按钮。相机组件224可至少部分由处理器206执行的软件来控制。然而，应当理解，这里的实施例可在不包括相机组件的计算设备上操作。例如，计算设备200的没有相机组件224的变体可表示个人计算设备(例如，桌面个人计算机、膝上型计算机、平板设备和/或服务器设备)。
捕捉的数字图像可被表示为像素的一维、二维或多维阵列。每个像素可由可对各个像素的颜色和/或亮度编码的一个或多个值表示。例如，一种可能的编码使用YCbCr颜色模型。在此颜色模型中，Y通道可表示像素的亮度，并且Cb和Cr通道可分别表示像素的蓝色度和红色度。例如，这些通道中的每一者可取从0到255的值(即，单个8比特字节可提供的色调范围)。从而，如果像素是黑色或接近黑色，则像素的亮度可由0或接近零的值表示，而如果像素是白色或接近白色，则像素的亮度可由255或接近255的值表示。然而，值255是非限制性的参考点，而一些实现方式可使用不同的最大值(例如，1023、4095等等)。
然而，YCbCr颜色模型只是一种可能的颜色模型，而诸如红-绿-蓝(red-green-blue，RGB)颜色模型或青-品红-黄-键(cyan-magenta-yellow-key，CMYK)之类的其它颜色模型可用于这里的实施例。另外，图像中的像素可被表示成各种文件格式，包括原始(未压缩)格式，或者压缩格式，例如联合图片专家组(Joint Photographic Experts Group，JPEG)、便携式网络图形(Portable Network Graphics，PNG)、图形交换格式(GraphicsInterchange Format，GIF)，等等。
大多数——如果不是所有的话——图像捕捉设备在捕捉图像期间向这些图像中引入噪声。经常，引入的噪声在性质上是高斯的。从而，图像中的每个像素可从其原始值被改变某个量，并且在多个像素上这个量可表现出高斯(正态)分布。但其它噪声分布是可能的。例如，不同像素处的噪声可以是相关的。除了由图像捕捉过程引入的噪声以外，场景的捕捉图像可由于不适当的聚焦、场景中的运动和/或图像捕捉设备的运动而表现出某种程度的模糊。
噪声和模糊在图像中都是不合需要的，因为对于人眼而言它们在审美上是令人不快的，并且可遮蔽图像的细节。噪声和模糊可尤其影响图像中的物体之间的线条、边缘和/或转变的表示。线条、边缘和/或转变的这些表示可被称为“结构”，并且一些图像可比其它图像表现出更多的结构。
为了减小噪声和模糊的影响，可采用诸如去噪、锐化和/或去模糊之类的图像处理技术。然而，为了让这些技术有效，它们需要在图像中的结构与噪声之间进行区分。如果没有区分结构与噪声的能力，则这些技术可向图像引入不合需要的伪影，例如被反转变成亮-暗边缘的暗-亮边缘，变模糊或者完全丢失的边缘，和/或图像中的噪声的夸大。另外，图像处理技术可通过去除在理想无噪声图像中将会存在的结构而引起精细图像细节的丢失。
作为一个示例，考虑黑白棋盘的图像。理想情况下，该图像应当将黑白方块之间的转变表示为锐利、明显的线条。在这种线条的一侧，所有像素应当是白色的，而在线条的另一侧，像素应当是黑色的。然而，图像捕捉设备引入的噪声可通过在线条的白侧放置某一量的黑像素并且在线条的黑侧放置某一量的白像素而使此线条失真。这可导致线条看起来模糊和/或黑部分和白部分看起来杂散有其它颜色。可替换地或额外地，不是所有像素都是黑的或白的，图像捕捉设备而是可将沿着线条的一些像素表示为灰的，这可减小线条的锐度。
为了改善捕捉的图像的质量，可采用诸如去噪、锐化和/或去模糊之类的图像处理技术。有许多去噪、锐化和去模糊技术，其中任何一种都可能用于这里的实施例。这些技术中的一些可被配置为以不同的进取(aggressiveness)水平操作。例如，以较低进取水平操作的去噪技术可向捕捉的图像应用有限量的去噪。然而，以较高的进取水平操作的相同去噪技术可不那么保守地对捕捉的图像去噪。从而，在更高的进取水平，去噪技术可对捕捉的图像执行更多去噪迭代和/或尝试对图像的如下部分去噪：当设定在更低的进取水平时，不会对这些部分去噪。
对图像的局部结构的更好理解和表示可改善经处理的图像的质量并且避免至少一些不合需要的伪影的创建。在图像处理期间考虑局部结构的一种方式是按部分来处理图像。例如，每个部分可以是m×n的像素块。像素块的大小可以较小，可能包含1-100那么少的像素。然而，像素块可大于100个像素。在一些情况下，m和n可以取相同的值，从而产生方形像素块。
通过分析图像的一个或多个像素块，可将像素块所表示的局部结构与噪声相区分。尤其，可以确定包含关联的像素块的表征的结构描述符。对像素块的图像处理可至少在某种程度上基于该像素块的关联结构描述符。
图3A和3B提供了像素块和关联的结构描述符的示例。例如，像素块300是包含各种像素值的3×3像素块。像素块300中的每个像素值可表示YCbCr、RGB或CMYK颜色模型中的一个或多个颜色通道，或者可基于某个其它的颜色模型。从而，每个像素值可表示颜色、亮度或者颜色和亮度的某种组合。在一些实施例中，给定的颜色模型的每个颜色通道可被表示在不同的像素块中并且可与不同的结构描述符相关联。
为了得出结构描述符302，可将像素块300的中心像素的值与其邻居相比较。结构描述符302中的每个单元可基于这个比较的结果而取0或1的值。结构描述符302中的单元的值在其在像素块300中的对应像素的值小于或等于像素块300的中心像素的值的情况下取0值，并且在其在像素块300中的对应像素的值大于像素块300的中心像素的值的情况下取1值。
因此，因为像素块300的中心像素具有像素值13，所以像素块300中具有13或更小的像素值的所有像素在结构描述符302的其关联单元中被赋予0。另一方面，像素块300中具有14或更大的像素值的所有像素在结构描述符302的其关联单元中被赋予1。如图3A中描绘的，像素块300的中心像素被上方和左侧的更低像素值，以及下方和右侧的更高像素值围绕。从而，图3A的像素可表示两个物体或颜色之间的边缘。结构描述符302反映了此结构。
如图3B中描绘的，可基于像素块304确定结构描述符306。因为像素块304的中心像素具有像素值14，所以像素块304中具有14或更小的像素值的所有像素在结构描述符306的其关联单元中被赋予0。另外，像素块304中具有15或更大的像素值的所有像素在结构描述符306的其关联单元中被赋予1。像素块304的中心像素被更低和更高的像素值所围绕。从而，图3B的像素可表示场景的有噪声部分。结构描述符306反映了此结构。
图3A和3B是为了示例而提供的，而其它实施例是可能的。例如，可以使用大于3×3的像素块(例如，5×5、7×7或9×9像素块)。另外，虽然在图3A和3B中，将中心像素用作所有其它像素与之比较的主像素，但也可改为使用非中心像素作为主像素。更充分概括地说，结构描述符中的每个单元可表示像素块中的像素的任意对或群组的任何类型的关系、公式或操纵。此外，结构描述符的单元可以取不只是0和1的值。例如，结构指示符的幅值可随着被比较的像素值之间的差异而缩放。
在一些实施例中，结构描述符可采取8比特序列的形式(例如，一个字节)，其中每个比特表示非中心二进制值之一。例如，结构描述符302可被表示为00101011(十进制的43)，并且结构描述符306可被表示为00110001(十进制的49)。在这些表示的每一者中，不包括像素块的中心像素。对于更大的结构描述符，可以使用更多比特。例如，5×5结构描述符可以用3字节(24比特)值来表示。
不管怎样，有若干种方式可用来从关联的结构描述符确定表示m×n像素块的结构的结构值。在一种技术中，可以确定结构描述符中的毗邻的垂直或水平0-0和1-1对的数目。对于3×3像素块，结果是0到12之间的数字，其中0指示很少或没有结构以及高噪声，而12指示高结构以及很少或没有噪声。一般地，此值越高，像素块中的结构的量就越大。
图4A描绘了应用到结构描述符302的此技术。块400示出了结构描述符302的3×3表示，在有毗邻的垂直或水平0-0和1-1对之处标记了X。在块400中，总共有8对。因此，此技术对于结构描述符302确定的结构值是8。类似地，图4B描绘了应用到结构描述符306的此技术。块404示出了结构描述符306的3×3表示，在有毗邻的垂直或水平0-0和1-1对之处标记了X。在块404中，总共有5对。因此，此技术对于结构描述符306确定的结构值是5。因为8大于5，所以像素块300和像素块304的结构值指示出像素块300与像素块304相比表现出更多结构和更少噪声。
在另一技术中，可以确定结构描述符的最少连接成分(the least connectedcomponent)的大小。最少连接成分可被定义为结构描述符中的0或1的最小毗邻(例如，垂直或水平相邻)集合。对于3×3像素块，结果是1到9之间的数字，其中1指示更少结构而9指示更多结构。一般地，此值越高，像素块中的结构的量就越大。
图4A也描绘了应用到结构描述符302的此技术。块402示出了结构描述符302的3×3表示，其中最少连接成分用更粗的单元边缘来标识。在块402中，最少连接成分的大小是4。因此，此技术对于结构描述符302确定的结构值是4。图4B也描绘了应用到结构描述符306的此技术。块406示出了结构描述符306的3×3表示，其中最少连接成分用更粗的单元边缘来标识。在块406中，最少连接成分的大小是1(实际上，有三个大小为1的最少连接成分)。因此，此技术对于结构描述符306确定的结构值是1。因为4大于1，所以像素块300和像素块304的结构值也指示出像素块300与像素块304相比表现出更多结构和更少噪声。
在另外一种技术中，结构描述符的8比特表示的每个可能值(例如，对于3×3像素块，这些值可在0到255之间，包括0和255)可被映射到给定范围中的结构值。例如，假定给定范围是1到10，其中1指示更少结构而10指示更多结构。于是，结构描述符0可被映射到结构值10，结构描述符90可被映射到结构值1，等等依此类推。这些映射可以是预先确定的或者利用某种形式的机器学习过程来得出的。
一旦确定了结构值，就可在图像去噪和图像锐化期间使用它。在图像去噪中，与具有更多结构的像素块相比，具有更少结构的像素块可被更进取地去噪。这样，可以保留精细图像细节。在图像锐化中，与具有更少结构的像素块相比，具有更多结构的像素块可被更多地锐化。在图像去模糊中，与具有更少结构的像素块相比，具有更多结构的像素块可被更多地去模糊。
作为图像锐化的示例，假定像素块包含在具有像素值100的像素的集合与具有像素值110的像素的相邻集合之间定义的边缘。如果结构值指示出低程度或中等程度的结构，则像素值可分别被改变成90和120。然而，如果结构值指示出高程度的结构，则像素值可分别被改变成80和130。从而，可在两个像素集合之间添加对比度。
此外，可在图像处理之前和之后比较结构描述符，以评估图像处理有多好地保留了局部结构，并且限制伪影的引入。“之前(before)”结构描述符可在向像素块应用图像处理之前确定，并且“之后(after)”结构描述符可在向像素块应用图像处理之后确定。“之前”和“之后”结构描述符之间的差异可用于确定是否已创建了新结构或者已消除了原始结构。此差异可被定义为“之前”和“之后”结构描述符中的不同比特的数目，或者按某种其它计算来定义。在一些实现方式中，此差异可以是“之前”和“之后”结构描述符之间的汉明距离。例如，如果该差异较大，则很有可能图像处理引入了图像伪影。
表1
表1中的伪代码是使用结构描述符的图像锐化的示例。在第1行，通过将图像I与从图像I'形成的非锐化蒙版卷积来锐化图像I。例如，I的非锐化蒙版可通过向I应用高斯噪声，然后将结果与I比较来创建。如果差异大于预定的阈值，则图像被组合(例如，相减)以形成I'。此操作的效果可以是强调I的高频成分。
在第2行，确定I和I'的结构描述符，分别是D(I)和D(I')。在第3行，确定V(I)，即I的结构值。在第4行，合并I和I'。随着D(I)和D(I')之间的差异增长，增大合并中给予I的权重。例如，如果差异高于阈值，则可给予I更多权重和/或可给予I'更少权重。给予I的权重也随着V(I)增长而增大。
应当理解，表1图示了一个示例实施例，而也可改为使用其它实施例。这些实施例中的一些可涵盖取代图示的锐化技术或者与图示的锐化技术相结合使用去噪和/或去模糊技术。
图5根据示例实施例描绘了流程图。在步骤500，可确定图像的m×n像素块的结构描述符。m×n像素块可包含具有主像素值的主像素和具有各自的次像素值的多个次像素。结构描述符可包括多个结构指示符，其中每一个与相应的次像素相关联(例如，按对关联)。各个结构指示符可以基于主像素值和关联的次像素的相应次像素值。
在步骤502，可基于结构描述符来确定m×n像素块的结构值。在步骤504，可基于结构描述符向m×n像素块应用图像处理。
在一些实施例中，结构描述符可包含m×n个结构指示符，其中之一与主像素相关联，并且其中的m×n–1个是多个结构指示符。
可替换地或额外地，确定结构描述符可包括如果次像素具有小于或等于主像素值的次像素值则将该次像素的相应结构指示符设定为0。确定结构描述符还可包括如果次像素具有大于主像素值的次像素值则将该次像素的相应结构指示符设定为1。
在一些实施例中，结构描述符可以是m×n块。确定结构值可包括计算结构描述符中的0-0和1-1垂直相邻或水平相邻结构指示符对的数目。在其它实施例中，结构描述符可以是m×n块，并且确定结构值可包括计算结构描述符中的最少连接成分的大小。最少连接成分可以是结构描述符中的具有共同值的结构指示符的最小毗邻群组。可替换地，结构描述符可采取任何形式，并且确定结构值可包括利用将结构描述符关联到结构值的查找表来将结构描述符映射到结构值。
在一些情况下，m＝n，和/或m是奇数。主像素可以是m×n像素块的中心像素。作为一个可能的示例，m＝3，并且结构描述符由包括与m×n像素块的每个次像素相关联的结构指示符的8比特序列表示。
向m×n像素块应用图像处理可包括如果结构值小于或等于结构值阈值则应用第一程度的去噪，和/或如果结构值大于结构值阈值则应用第二程度的去噪，其中第一程度的去噪包括比第二程度的去噪更多的去噪。可替换地或额外地，向m×n像素块应用图像处理可包括如果结构值大于结构值阈值则应用第一程度的锐化，和/或如果结构值小于或等于结构值阈值则应用第二程度的锐化，其中第一程度的锐化包括比第二程度的锐化更多的锐化。
在一些实施例中，向m×n像素块应用图像处理形成图像的第二m×n像素块。然后，可确定第二m×n像素块的第二结构描述符。基于第二结构描述符，可确定第二m×n像素块的第二结构值。基于结构值和第二结构值，可合并m×n像素块和第二m×n像素块。合并m×n像素块和第二m×n像素块可包括确定第一结构值与第二结构值之间的绝对差异，确定该绝对差异大于阈值差异，并且基于绝对差异大于阈值差异，在合并期间向m×n像素块赋予比第二m×n像素块更多的权重。绝对差异可例如是第一结构值与第二结构值之间的差异的绝对值。
图5中描绘的步骤可由诸如数字相机设备100之类的相机设备、诸如计算设备200之类的计算设备和/或由两个或更多个不同的设备实现。然而，其它布置是可能的。另外，可根据本说明书和附图中公开的变体来修改图5中描绘的流程图。
以上详细描述参考附图对公开的系统、设备和方法的各种特征和功能进行了描述。详细描述、附图和权利要求中描述的说明性实施例并不欲进行限定。可以利用其它实施例，并且可以作出其它改变，而不脱离这里给出的主题的范围。将容易理解，这里概括描述并且在附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计，所有这些在这里都明确地设想到了。
关于如这里所论述的图中的消息流程图、场景和流程图中的任何或全部，每个步骤、方块和/或通信可表示根据示例实施例对信息的处理和/或对信息的传输。替换实施例被包括在这些示例实施例的范围内。在这些可替换实施例中，例如，取决于所涉及的功能，被描述为步骤、方块、传输、通信、请求、响应和/或消息的功能可不按所示出或论述的顺序来执行，包括基本上同时执行或按相反顺序执行。另外，对于这里论述的消息流程图、场景和流程图中的任何一个可以使用更多或更少的步骤、方块和/或功能，并且这些消息流程图、场景和流程图可部分或全部地与彼此相结合。
表示对信息的处理的步骤或方块可对应于可被配置为执行这里描述的方法或技术的具体逻辑功能的电路。可替换地或额外地，表示对信息的处理的步骤或方块可对应于程序代码(包括相关数据)的模块、片段或部分。程序代码可包括可由处理器执行来实现方法或技术中的具体逻辑功能或动作的一个或多个指令。程序代码和/或相关数据可被存储在任何类型的计算机可读介质上，例如存储设备，包括盘驱动器、硬盘驱动器或其它存储介质。
计算机可读介质还可包括非暂态计算机可读介质，例如像寄存器存储器、处理器缓存和/或随机访问存储器(random access memory，RAM)那样短时间段内存储数据的计算机可读介质。计算机可读介质还可包括较长时间段地存储程序代码和/或数据的非暂态计算机可读介质，例如次级或永久性长期存储装置，比如只读存储器(read only memory，ROM)、光盘或磁盘和/或致密盘只读存储器(compact-disc read only memory，CD-ROM)。计算机可读介质也可以是任何其它易失性或非易失性存储系统。计算机可读介质可被认为是例如计算机可读存储介质，或者有形存储设备。
另外，表示一个或多个信息传输的步骤或方块可对应于同一物理设备中的软件和/或硬件模块之间的信息传输。然而，其它信息传输可发生在不同物理设备中的软件模块和/或硬件模块之间。
虽然这里已公开了各种方面和实施例，但本领域技术人员将会清楚其它方面和实施例。这里公开的各种方面和实施例是为了说明，而并不打算进行限定，真实的范围和精神由所附权利要求指示。

Claims (18)

1.一种用于图像处理的方法，包括：
由计算设备为图像的m×n像素块确定结构描述符，其中所述m×n像素块包含具有主像素值的主像素和具有各自的次像素值的多个次像素，其中所述结构描述符包括多个结构指示符，每个结构指示符与相应的次像素相关联，并且其中各个结构指示符是基于所述主像素值和关联的次像素的相应次像素值的；
基于所述结构描述符，为所述m×n像素块确定结构值；
基于所述结构值，向所述m×n像素块应用图像处理以形成所述图像的第二m×n像素块；
确定第二m×n像素块的第二结构描述符；
基于第二结构描述符，确定第二m×n像素块的第二结构值；以及
基于所述结构值和第二结构值，将所述m×n像素块和第二m×n像素块合并，其中将所述m×n像素块和第二m×n像素块合并包括确定所述结构值和第二结构值之间的绝对差异，确定所述绝对差异大于阈值差异，并且基于所述绝对差异大于所述阈值差异，在所述合并期间向所述m×n像素块赋予比所述第二m×n像素块更大的权重。
2.如权利要求1所述的方法，其中，所述结构描述符包含m×n个结构指示符，这m×n个结构指示符中的一个与所述主像素相关联，并且这m×n个结构指示符中的m×n-1个是所述多个结构指示符。
3.如权利要求1所述的方法，其中，确定所述结构描述符包括：
如果次像素具有小于或等于所述主像素值的次像素值，则将该次像素的相应结构指示符设定为0；以及
如果该次像素具有大于所述主像素值的次像素值，则将该次像素的相应结构指示符设定为1。
4.如权利要求3所述的方法，其中，所述结构描述符是m×n块，并且其中，确定结构值包括计算所述结构描述符中的0-0和1-1垂直相邻或水平相邻结构指示符对的数目。
5.如权利要求3所述的方法，其中，所述结构描述符是m×n块，并且其中，确定结构值包括计算所述结构描述符中的最少连接成分的大小，其中所述最少连接成分是所述结构描述符中具有共同值的结构指示符的最小毗邻群组。
6.如权利要求3所述的方法，其中，m＝n，m是奇数，并且所述主像素是所述m×n像素块的中心像素。
7.如权利要求6所述的方法，其中，m＝3，并且其中，所述结构描述符由包括与所述m×n像素块的每个次像素相关联的结构指示符的8比特序列表示。
8.如权利要求1所述的方法，其中，确定结构值包括利用将结构描述符关联到结构值的查找表来将所述结构描述符映射到所述结构值。
9.如权利要求1所述的方法，其中，向所述m×n像素块应用图像处理包括：
如果所述结构值小于或等于结构值阈值，则应用第一程度的去噪；以及
如果所述结构值大于所述结构值阈值，则应用第二程度的去噪，其中所述第一程度的去噪包括比所述第二程度的去噪更多的去噪。
10.如权利要求1所述的方法，其中，向所述m×n像素块应用图像处理包括：
如果所述结构值大于结构值阈值，则应用第一程度的锐化；以及
如果所述结构值小于或等于所述结构值阈值，则应用第二程度的锐化，其中所述第一程度的锐化包括比所述第二程度的锐化更多的锐化。
11.一种用于图像处理的制品，包括非暂态计算机可读介质，其上存储有程序指令，所述程序指令在被计算设备执行时使得该计算设备执行操作，所述操作包括：
为图像的m×n像素块确定结构描述符，其中所述m×n像素块包含具有主像素值的主像素和具有各自的次像素值的多个次像素，其中所述结构描述符包括多个结构指示符，每个结构指示符与相应的次像素相关联，并且其中各个结构指示符是基于所述主像素值和关联的次像素的相应次像素值的；
基于所述结构描述符，为所述m×n像素块确定结构值；
基于所述结构值，向所述m×n像素块应用图像处理以形成所述图像的第二m×n像素块；
确定第二m×n像素块的第二结构描述符；
基于第二结构描述符，确定第二m×n像素块的第二结构值；以及
基于所述结构值和第二结构值，将所述m×n像素块和第二m×n像素块合并，其中将所述m×n像素块和第二m×n像素块合并包括确定所述结构值和第二结构值之间的绝对差异，确定所述绝对差异大于阈值差异，并且基于所述绝对差异大于所述阈值差异，在所述合并期间向所述m×n像素块赋予比所述第二m×n像素块更大的权重。
12.如权利要求11所述的制品，其中，确定所述结构描述符包括：
如果次像素具有小于或等于所述主像素值的次像素值，则将该次像素的相应结构指示符设定为0；以及
如果该次像素具有大于所述主像素值的次像素值，则将该次像素的相应结构指示符设定为1。
13.如权利要求11所述的制品，其中，向所述m×n像素块应用图像处理包括：
如果所述结构值小于或等于结构值阈值，则应用第一程度的去噪；以及
如果所述结构值大于所述结构值阈值，则应用第二程度的去噪，其中所述第一程度的去噪包括比所述第二程度的去噪更多的去噪。
14.如权利要求11所述的制品，其中，向所述m×n像素块应用图像处理包括：
如果所述结构值大于结构值阈值，则应用第一程度的锐化；以及
如果所述结构值小于或等于所述结构值阈值，则应用第二程度的锐化，其中所述第一程度的锐化包括比所述第二程度的锐化更多的锐化。
15.一种用于图像处理的计算设备，包括：
至少一个处理器；
数据存储装置；以及
存储在所述数据存储装置中的程序指令，所述程序指令在被所述至少一个处理器执行时使得所述计算设备执行操作，所述操作包括：
为图像的m×n像素块确定结构描述符，其中所述m×n像素块包含具有主像素值的主像素和具有各自的次像素值的多个次像素，其中所述结构描述符包括多个结构指示符，每个结构指示符与相应的次像素相关联，并且其中各个结构指示符是基于所述主像素值和关联的次像素的相应次像素值的；
基于所述结构描述符，为所述m×n像素块确定结构值；
基于所述结构值，向所述m×n像素块应用图像处理以形成所述图像的第二m×n像素块；
确定第二m×n像素块的第二结构描述符；
基于第二结构描述符，确定第二m×n像素块的第二结构值；以及
基于所述结构值和第二结构值，将所述m×n像素块和第二m×n像素块合并，其中将所述m×n像素块和第二m×n像素块合并包括确定所述结构值和第二结构值之间的绝对差异，确定所述绝对差异大于阈值差异，并且基于所述绝对差异大于所述阈值差异，在所述合并期间向所述m×n像素块赋予比所述第二m×n像素块更大的权重。
16.如权利要求15所述的计算设备，其中，确定所述结构描述符包括：
如果次像素具有小于或等于所述主像素值的次像素值，则将该次像素的相应结构指示符设定为0；以及
如果该次像素具有大于所述主像素值的次像素值，则将该次像素的相应结构指示符设定为1。
17.如权利要求15所述的计算设备，其中，向所述m×n像素块应用图像处理包括：
如果所述结构值小于或等于结构值阈值，则应用第一程度的去噪；以及
如果所述结构值大于所述结构值阈值，则应用第二程度的去噪，其中所述第一程度的去噪包括比所述第二程度的去噪更多的去噪。
18.如权利要求15所述的计算设备，其中，向所述m×n像素块应用图像处理包括：
如果所述结构值大于结构值阈值，则应用第一程度的锐化；以及
如果所述结构值小于或等于所述结构值阈值，则应用第二程度的锐化，其中所述第一程度的锐化包括比所述第二程度的锐化更多的锐化。
CN201480005122.8A 2013-01-17 2014-01-14 用于图像处理的结构描述符 Active CN104919490B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/743,565 US8995784B2 (en) 2013-01-17 2013-01-17 Structure descriptors for image processing
US13/743,565 2013-01-17
PCT/US2014/011498 WO2014113392A1 (en) 2013-01-17 2014-01-14 Structure descriptors for image processing

Publications (2)

Publication Number Publication Date
CN104919490A CN104919490A (zh) 2015-09-16
CN104919490B true CN104919490B (zh) 2018-05-18

Family

ID=51165181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480005122.8A Active CN104919490B (zh) 2013-01-17 2014-01-14 用于图像处理的结构描述符

Country Status (3)

Country Link
US (1) US8995784B2 (zh)
CN (1) CN104919490B (zh)
WO (1) WO2014113392A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306806B (zh) * 2014-12-22 2019-01-29 维沃移动通信有限公司 一种移动终端及其拍照的方法
CN105611132A (zh) * 2015-12-28 2016-05-25 广东欧珀移动通信有限公司 曝光控制方法及装置
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
CN106303273B (zh) * 2016-07-29 2019-08-30 深圳市中兴移动软件有限公司 一种移动终端及其拍照控制方法
WO2020015144A1 (zh) * 2018-07-16 2020-01-23 华为技术有限公司 一种拍照方法及电子设备
JP7383946B2 (ja) * 2019-09-12 2023-11-21 株式会社アイシン 画像復元装置、画像復元方法、画像復元プログラム、復元器生成装置、復元器生成方法、復元器生成プログラム、判定器生成装置、判定器生成方法、判定器生成プログラム、物品判定装置、物品判定方法、および物品判定プログラム
US11599974B2 (en) * 2019-11-22 2023-03-07 Nec Corporation Joint rolling shutter correction and image deblurring

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1469314A (zh) * 2002-07-05 2004-01-21 诺日士钢机株式会社 图像处理方法、图像处理程序及记录该程序的记录媒体
KR20090036032A (ko) * 2007-10-08 2009-04-13 성균관대학교산학협력단 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법
KR20120095283A (ko) * 2011-02-18 2012-08-28 (주)아트아크앤도어웍스 디지털기기로 해독되는 정보를 포함한 디자인코드 패턴 및 그 운영시스템

Family Cites Families (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59137942A (ja) 1983-01-28 1984-08-08 Hitachi Ltd 画像位置合わせ方式
US6204881B1 (en) 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US5781308A (en) 1996-03-04 1998-07-14 Hewlett-Packard Company High speed system for threshold matrix alignment and tiling, during creation of a binary half-tone image
US5828793A (en) 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US6061091A (en) 1996-05-30 2000-05-09 Agfa Gevaert N.V. Detection of and correction for specular reflections in digital image acquisition
US6075905A (en) 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
US6466701B1 (en) 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
JP3667105B2 (ja) 1997-10-01 2005-07-06 松下電器産業株式会社 動きベクトル検出方法及びその方法を実施する装置
JPH11120185A (ja) 1997-10-09 1999-04-30 Canon Inc 情報処理装置及びその方法
US6101285A (en) * 1998-03-23 2000-08-08 Xerox Corporation Filter for producing continuous tone images from halftone digital images data
JPH11341292A (ja) 1998-05-29 1999-12-10 Canon Inc 画像処理装置及び方法及び記憶媒体
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US6975755B1 (en) 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
JP3750462B2 (ja) 2000-02-22 2006-03-01 コニカミノルタフォトイメージング株式会社 デジタルカメラおよび記録媒体
US7298402B2 (en) 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
US7173666B1 (en) 2002-08-22 2007-02-06 Smal Camera Technologies System and method for displaying a non-standard aspect ratio image on a standard aspect ratio monitor
JP3898606B2 (ja) 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7142723B2 (en) 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
CA2442603C (en) 2003-10-01 2016-11-22 Aryan Saed Digital composition of a mosaic image
WO2005047545A2 (en) 2003-11-04 2005-05-26 Applera Corporation Microarray controls
US7330592B2 (en) 2004-01-27 2008-02-12 Samsung Electronics Co., Ltd. Method and apparatus for detecting the location and luminance transition range of slant image edges
US20050243176A1 (en) 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
US7667764B2 (en) 2004-06-04 2010-02-23 Konica Minolta Holdings, Inc. Image sensing apparatus
US7522779B2 (en) 2004-06-30 2009-04-21 Accuray, Inc. Image enhancement method and system for fiducial-less tracking of treatment targets
EP1829364A2 (en) 2004-12-07 2007-09-05 Bright Imaging Ltd. Method and apparatus for imaging of scenes having large intensity variance
US7239805B2 (en) 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
US7626614B1 (en) 2005-02-15 2009-12-01 Apple Inc. Transfer function and high dynamic range images
JP4601488B2 (ja) 2005-05-12 2010-12-22 三菱電機株式会社 電力系統の監視制御システム
JP4420294B2 (ja) 2005-06-28 2010-02-24 エルジー ディスプレイ カンパニー リミテッド ミディアンフィルタリング方法及び装置
JP4530961B2 (ja) 2005-06-30 2010-08-25 オリンパスイメージング株式会社 電子的ぶれ補正装置
EP1924966B1 (en) 2005-08-08 2009-04-29 MEP Imaging Technologies Ltd. Adaptive exposure control
WO2007031696A1 (en) * 2005-09-13 2007-03-22 Arm Limited Cache miss detection in a data processing apparatus
WO2007075065A1 (en) 2005-12-29 2007-07-05 Mtekvision Co., Ltd. Device of processing dead pixel
US7903168B2 (en) 2006-04-06 2011-03-08 Eastman Kodak Company Camera and method with additional evaluation image capture based on scene brightness changes
US7944485B2 (en) 2006-08-30 2011-05-17 Micron Technology, Inc. Method, apparatus and system for dynamic range estimation of imaged scenes
TW200820123A (en) 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
US7548689B2 (en) 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
US20080278633A1 (en) 2007-05-09 2008-11-13 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
KR101341095B1 (ko) 2007-08-23 2013-12-13 삼성전기주식회사 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법
WO2009029810A1 (en) 2007-08-31 2009-03-05 Historx, Inc. Automatic exposure time selection for imaging tissue
JP4783461B2 (ja) 2007-09-25 2011-09-28 富士通株式会社 画像合成装置及び方法
JP4424402B2 (ja) 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像制御方法、撮像制御プログラム
US7777804B2 (en) 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
US8600189B2 (en) 2007-11-12 2013-12-03 Qualcomm Incorporated Block-based image stabilization
US8059891B2 (en) 2007-12-30 2011-11-15 Intel Corporation Markov stationary color descriptor
KR101442610B1 (ko) 2008-02-18 2014-09-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
US8482620B2 (en) 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
KR20090098197A (ko) 2008-03-13 2009-09-17 삼성디지털이미징 주식회사 플래시 발광량 조절가능한 디지털 촬영 장치, 이의 제어방법 및 상기 방법을 실행하기 위한 프로그램을 기록한기록매체
JP5054583B2 (ja) 2008-03-17 2012-10-24 株式会社リコー 撮像装置
US20090244301A1 (en) 2008-04-01 2009-10-01 Border John N Controlling multiple-image capture
KR101599875B1 (ko) 2008-04-17 2016-03-14 삼성전자주식회사 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치
KR101257942B1 (ko) 2008-04-23 2013-04-23 고려대학교 산학협력단 광역 역광보정 영상처리에서의 전처리 방법 및 장치
US8145015B2 (en) * 2008-04-25 2012-03-27 Intel Corporation Device, system, and method for indexing digital image frames
US8724921B2 (en) 2008-05-05 2014-05-13 Aptina Imaging Corporation Method of capturing high dynamic range images with objects in the scene
FR2931288B1 (fr) 2008-05-19 2010-08-20 Thierry Prigent Procede d'enregistrement d'images et de donnees de restauration de ces images
KR20090127602A (ko) 2008-06-09 2009-12-14 삼성전자주식회사 엔트로피를 이용한 영상 획득 방법 및 장치
US8035728B2 (en) 2008-06-27 2011-10-11 Aptina Imaging Corporation Method and apparatus providing rule-based auto exposure technique preserving scene dynamic range
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
KR101520068B1 (ko) 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
US8339475B2 (en) 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
TWI395051B (zh) 2008-12-31 2013-05-01 Altek Corp Panorama Image Automatic Shooting Method for Digital Camera
TWI393992B (zh) 2009-02-05 2013-04-21 Nat Univ Chung Cheng High dynamic range image synthesis method
US8525900B2 (en) 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8237813B2 (en) 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5319415B2 (ja) 2009-06-22 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法
JP2011010108A (ja) 2009-06-26 2011-01-13 Seiko Epson Corp 撮像制御装置、撮像装置及び撮像制御方法
GB2486348B (en) 2009-10-08 2014-11-12 Ibm Method and system for transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
US8582802B2 (en) 2009-10-09 2013-11-12 Edgenet, Inc. Automatic method to generate product attributes based solely on product images
US20110149111A1 (en) 2009-12-22 2011-06-23 Prentice Wayne E Creating an image using still and preview
KR101163587B1 (ko) * 2009-12-24 2012-07-06 한국산재의료원 수동휠체어용 동력보조장치
WO2011093994A1 (en) 2010-01-27 2011-08-04 Thomson Licensing High dynamic range (hdr) image synthesis with user input
US8339508B2 (en) 2010-02-22 2012-12-25 Csr Technology Inc. Method and apparatus for low-light imaging enhancement
EP2569615A4 (en) 2010-05-12 2014-01-15 Li Cor Inc IMAGING WITH A WIDE DYNAMIC RANGE
US8760537B2 (en) 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
JP2012029029A (ja) 2010-07-23 2012-02-09 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置
US8625013B2 (en) 2010-08-23 2014-01-07 Red.Com, Inc. Multi-exposure imaging
US9544498B2 (en) 2010-09-20 2017-01-10 Mobile Imaging In Sweden Ab Method for forming images
US8462221B2 (en) 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
TWI433533B (zh) 2010-11-22 2014-04-01 Altek Corp 影像擷取裝置及其影像合成方法
CN103026384B (zh) 2011-01-20 2016-08-03 松下知识产权经营株式会社 特征提取装置、特征提取方法以及图像处理装置
US8428308B2 (en) 2011-02-04 2013-04-23 Apple Inc. Estimating subject motion for capture setting determination
US8611655B2 (en) 2011-02-04 2013-12-17 Apple Inc. Hue-based color matching
WO2012110894A1 (en) 2011-02-18 2012-08-23 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images
US8873882B2 (en) 2011-02-28 2014-10-28 Aptina Imaging Corporation Blooming filter for multiple exposure high dynamic range image sensors
US8593548B2 (en) 2011-03-28 2013-11-26 Aptina Imaging Corporation Apparataus and method of automatic color shading removal in CMOS image sensors
US9077917B2 (en) 2011-06-09 2015-07-07 Apple Inc. Image sensor having HDR capture capability
JP2013038504A (ja) 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
US9106879B2 (en) 2011-10-04 2015-08-11 Samsung Electronics Co., Ltd. Apparatus and method for automatic white balance with supplementary sensors
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US8200020B1 (en) 2011-11-28 2012-06-12 Google Inc. Robust image alignment using block sums
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
TWI511559B (zh) 2013-02-07 2015-12-01 Altek Semiconductor Corp 影像處理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1469314A (zh) * 2002-07-05 2004-01-21 诺日士钢机株式会社 图像处理方法、图像处理程序及记录该程序的记录媒体
KR20090036032A (ko) * 2007-10-08 2009-04-13 성균관대학교산학협력단 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법
KR20120095283A (ko) * 2011-02-18 2012-08-28 (주)아트아크앤도어웍스 디지털기기로 해독되는 정보를 포함한 디자인코드 패턴 및 그 운영시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
""Face detection using improved LBP under Bayesian framework"";H Jin et al;《International Conference on Image & Graphics》;20041230;第306-309页 *
""Speckle Noise Reduction using Local Binary Pattern"";AK Mandava et al;《Procedia Technology》;20121030;第576-578页 *

Also Published As

Publication number Publication date
WO2014113392A1 (en) 2014-07-24
US8995784B2 (en) 2015-03-31
CN104919490A (zh) 2015-09-16
US20140198987A1 (en) 2014-07-17

Similar Documents

Publication Publication Date Title
CN104919490B (zh) 用于图像处理的结构描述符
KR102240659B1 (ko) 시야의 가리움에 기초한 카메라 선택
US9066017B2 (en) Viewfinder display based on metering images
Bandoh et al. Recent advances in high dynamic range imaging technology
CN107507160B (zh) 一种图像融合方法、终端及计算机可读存储介质
US10148880B2 (en) Method and apparatus for video content stabilization
US9373187B2 (en) Method and apparatus for producing a cinemagraph
JP2018513640A (ja) パンニングショットの自動生成
US9195880B1 (en) Interactive viewer for image stacks
CN105122794A (zh) 相机遮挡检测
CN110505411A (zh) 图像拍摄方法、装置、存储介质及电子设备
US20100039548A1 (en) Image processing apparatus, image processing method, program and imaging apparatus
US8472748B2 (en) Method of image processing and image processing apparatus
WO2015196896A1 (zh) 对焦状态的提示方法和拍摄装置
WO2017088609A1 (zh) 图像去噪装置和方法
TWI546726B (zh) 依據深度資訊之影像處理方法及系統，及其電腦程式產品
CN114096994A (zh) 图像对齐方法及装置、电子设备、存储介质
US10257417B2 (en) Method and apparatus for generating panoramic images
US9117110B2 (en) Face detection-processing circuit and image pickup device including the same
CN106228165A (zh) 一种照片分类的方法和移动终端
US20110074982A1 (en) Apparatus and method for digital photographing
CN108513068A (zh) 图像的选取方法、装置、存储介质及电子设备
WO2014027559A1 (ja) 画像ファイル生成装置及び表示装置
WO2017071560A1 (zh) 图片处理方法及装置
CN105100587B (zh) 摄像装置及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant