CN105308648A - 用于对用户选定的兴趣区域进行超分辨的系统和方法 - Google Patents

用于对用户选定的兴趣区域进行超分辨的系统和方法 Download PDF

Info

Publication number
CN105308648A
CN105308648A CN201480033079.6A CN201480033079A CN105308648A CN 105308648 A CN105308648 A CN 105308648A CN 201480033079 A CN201480033079 A CN 201480033079A CN 105308648 A CN105308648 A CN 105308648A
Authority
CN
China
Prior art keywords
image
interest
region
resolution
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480033079.6A
Other languages
English (en)
Other versions
CN105308648B (zh
Inventor
尼特希·什罗夫
拉明·礼萨伊法尔
宋奇迟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105308648A publication Critical patent/CN105308648A/zh
Application granted granted Critical
Publication of CN105308648B publication Critical patent/CN105308648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Systems (AREA)

Abstract

本发明描述用于高效地对图像的一部分进行超分辨的系统、装置和方法。一个实施例涉及使用装置的相机模块捕获场景的至少一个图像，并且创建用户选定的兴趣区域的较高分辨率图像。可以通过如下操作执行兴趣区域的超分辨：将高分辨率栅格与装置相机的分辨率下的栅格匹配，用从来自所述相机的图像得来的信息填充所述高分辨率栅格，以及接着填充所述栅格的尚未填充的其余点。

Description

用于对用户选定的兴趣区域进行超分辨的系统和方法
背景技术
本发明的方面涉及图像处理，并且具体来说，涉及用于对一个场景的多个部分进行超分辨的系统和方法。在最近几十年中，电子装置的使用已变得普遍。确切地说，电子技术中的进展已降低了愈加复杂且有用的电子装置的成本。成本减少和消费者需求已使电子装置的使用剧增，使得其在现代社会中几乎随处可见。由于电子装置的使用已推广开来，因此需要电子装置的新的且改善的特征。更确切地说，通常寻求执行功能更快、更高效或者质量更高的电子装置。
例如数码相机、带有内嵌相机的电话或其它相机或传感器装置的装置可以用于创建和存储场景的图像。在许多情况下，有大量因素限制和降低了捕获的图像的质量，例如大气模糊、运动效应、相机模糊效应和采样效应。超分辨是指产生分辨率比给定相机传感器可以捕获的分辨率更高的图像。超分辨是一个资源密集型过程，并且对整个场景进行超分辨可能会花费比装置用户优选的更大的时间量或装置资源。因而可能需要改善超分辨过程中的效率的系统和方法。
发明内容
本发明描述用于改善用户选定的兴趣区域的图像质量的方法、装置、系统和计算机可读媒体。一个实施例可以是一种方法，其包含：使用装置的相机模块捕获场景的至少一个图像；在所述装置处接收识别兴趣区域的用户输入，其中所述兴趣区域识别所述场景的至少一个图像的小于所述至少一个图像的完整区域的部分；以及通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的较高分辨率图像：创建与所述兴趣区域的所述较高分辨率图像相关联的高分辨率栅格；识别与所述场景的所述至少一个图像的所述部分相关联的一或多个低分辨率栅格，其中每一低分辨率栅格与一个图像相关联，并且其中每一低分辨率栅格的每一点包括所述相机模块捕获的信息；确定所述高分辨率栅格与所述一或多个低分辨率栅格中的每一者之间的对准；以及用从来自所述一或多个低分辨率栅格的对应对准像素得来的信息填充所述高分辨率栅格的每一点。
此方法的额外实施例可在如下情况下起作用：其中在接收到识别兴趣区域的用户输入之前捕获所述场景的至少一个图像；并且其中识别所述兴趣区域的用户输入是当在显示器输出上显示场景时，在显示器输出上的识别所述至少一个图像的所述部分的触摸屏输入。
此方法的额外实施例可在接收到识别兴趣区域的用户输入之后捕获场景的至少一个图像的情况下起作用。
此方法的额外实施例可在如下情况下起作用：其中场景的至少一个图像由场景的单个图像组成，并且其中创建兴趣区域的较高分辨率图像包括使用在场景的单个图像中识别的补片冗余从场景的单个图像创建兴趣区域的较高分辨率图像。
此方法的额外实施例可以进一步包括：在所述捕获所述场景的所述至少一个图像之前在所述装置处接收用户输入，所述用户输入选择有待捕获的多个图像以用于创建所述兴趣区域的所述较高分辨率图像，其中捕获所述至少一个图像包括自动捕获所述场景的所述多个图像；以及其中创建所述兴趣区域的较高分辨率图像包括在多帧超分辨过程中使用所述多个图像中的每一图像创建兴趣区域的较高分辨率图像，而不创建所述场景的在兴趣区域外部的较高分辨率图像部分。
此方法的额外实施例可以进一步包括在装置的显示器输出上显示兴趣区域的较高分辨率图像。
此方法的额外实施例可以进一步包括：当在所述装置的所述显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，识别所述装置上可用的空闲计算机处理单元循环；以及当在所述显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，创建所述至少一个图像的在所述兴趣区域外部的至少一部分的第二较高分辨率图像。
此方法的额外实施例可以进一步包括：捕获所述装置上的至少一个传感器的传感器数据；以及使所述传感器数据与所述至少一个图像相关联，其中所述传感器数据用于创建所述兴趣区域的较高分辨率图像。
此方法的额外实施例可在所述传感器数据包括来自装置的加速计的运动数据的情况下起作用。
此方法的额外实施例可以进一步包括：显示所述兴趣区域的所述较高分辨率图像作为预览图像；接收响应于所述显示所述预览图像而请求额外增加所述兴趣区域的所述较高分辨率图像的分辨率的用户输入；以及通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的额外较高分辨率图像：创建与所述兴趣区域的所述额外较高分辨率图像相关联的额外较高分辨率栅格；识别包括所述高分辨率栅格的一或多个高分辨率栅格；确定所述额外较高分辨率栅格与所述一或多个高分辨率栅格中的每一者之间的对准；以及用从来自所述一或多个高分辨率栅格的所述对应对准像素得来的信息填充所述额外较高分辨率栅格的每一点。
一个额外实施例可以是一种装置，其包括：存储器；用户输入模块；相机模块，其包括传感器；以及处理器，其耦合到所述存储器和所述相机模块，所述处理器经配置以：使用所述装置的所述相机模块捕获场景的至少一个图像；在所述用户输入模块处接收识别兴趣区域的用户输入，其中所述兴趣区域识别所述场景的至少一个图像的小于所述至少一个图像的完整区域的部分；以及通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的较高分辨率图像：创建与所述兴趣区域的所述较高分辨率图像相关联的高分辨率栅格；识别与所述场景的所述至少一个图像的所述部分相关联的一或多个低分辨率栅格，其中每一低分辨率栅格与一个图像相关联，并且其中每一低分辨率栅格的每一点包括所述相机模块捕获的信息；确定所述高分辨率栅格与所述一或多个低分辨率栅格中的每一者之间的对准；以及用从来自所述一或多个低分辨率栅格的对应对准像素得来的信息填充所述高分辨率栅格的每一点。
此装置的额外实施例可以进一步包括显示器输出；其中在接收到识别所述兴趣区域的所述用户输入之前捕获所述场景的所述至少一个图像；并且其中所述用户输入模块所述显示器输出的触摸屏输入。
此装置的额外实施例可在处理器进一步经配置以进行以下操作的情况下起作用：在所述装置的所述显示器输出上显示所述兴趣区域的所述较高分辨率图像。
此装置的额外实施例可在处理器进一步经配置以进行以下操作的情况下起作用：当在所述装置的所述显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，识别所述处理器上可用的空闲计算机处理单元循环；以及当在所述显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，使用所述场景的所述至少一个图像创建所述至少一个图像的在所述兴趣区域外部的至少一部分的第二较高分辨率图像。
此装置的额外实施例可在下面的情况下起作用：所述场景的至少一个图像由所述场景的单个图像组成，并且其中创建所述兴趣区域的较高分辨率图像包括使用在所述场景的单个图像中识别的补片冗余从所述场景的单个图像创建兴趣区域的较高分辨率图像。
此装置的额外实施例可在处理器进一步经配置以进行以下操作的情况下起作用：在所述捕获所述场景的所述至少一个图像之前在所述装置处接收用户输入，所述用户输入选择有待捕获的多个图像以用于创建所述兴趣区域的所述较高分辨率图像。
此装置的额外实施例可以进一步包括耦合到处理器的加速计，其中所述处理器进一步经配置以：从所述加速计捕获运动数据；使所述运动数据与所述至少一个图像相关联；以及使用所述运动数据创建所述兴趣区域的所述较高分辨率图像。
额外实施例可以是一种非暂时性计算机可读存储媒体，其包括指令集，所述指令集在由耦合到存储媒体的处理器执行时，使装置改善用户选定的兴趣区域的图像质量，所述指令包括：在所述装置处接收场景的至少一个图像；在所述装置处接收识别兴趣区域的用户输入，其中所述兴趣区域识别所述场景的至少一个图像的小于所述至少一个图像的完整区域的部分；以及通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的较高分辨率图像：创建与所述兴趣区域的所述较高分辨率图像相关联的高分辨率栅格；识别与所述场景的所述至少一个图像的所述部分相关联的一或多个低分辨率栅格，其中每一低分辨率栅格与一个图像相关联，并且其中每一低分辨率栅格的每一点包括相机模块捕获的信息；确定所述高分辨率栅格与所述一或多个低分辨率栅格中的每一者之间的对准；以及用从来自所述一或多个低分辨率栅格的对应对准像素得来的信息填充所述高分辨率栅格的每一点。
额外实施例可在所述指令进一步包括以下操作的情况下起作用：当在所述装置的显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，识别所述装置上可用的空闲计算机处理单元循环；以及当在所述显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，创建所述至少一个图像的在所述兴趣区域外部的至少一部分的第二较高分辨率图像。
额外实施例可在指令进一步包括以下操作的情况下起作用：显示所述兴趣区域的所述较高分辨率图像作为预览图像；接收响应于所述显示所述预览图像而请求额外增加所述兴趣区域的所述较高分辨率图像的分辨率的用户输入；以及通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的额外较高分辨率图像：创建与所述兴趣区域的所述额外较高分辨率图像相关联的额外较高分辨率栅格；识别包括所述高分辨率栅格的一或多个高分辨率栅格；确定所述额外较高分辨率栅格与所述一或多个高分辨率栅格中的每一者之间的对准；以及用从来自所述一或多个高分辨率栅格的所述对应对准像素得来的信息填充所述额外较高分辨率栅格的每一点。
通过下文提供的详细描述，将明白其它实施例。
附图说明
参照以下各图，可以实现对各种实施例的性质及优点的进一步理解。在附图中，类似组件或特征可具有相同参考标记。另外，可通过在参考标记之后跟着短划线及在类似组件当中进行区分的第二标记来区分相同类型的各种组件。如果说明书中只使用第一参考标记，那么描述适用于具有相同第一参考标记的类似组件中的任一者，而与第二参考标记无关。
图1A示出了包括可以执行根据本文所述的实施例的超分辨的相机的装置的方面；
图1B示出了包括可以执行根据本文所述的实施例的超分辨的相机的装置的方面；
图2描述用于执行根据本文所述的实施例的超分辨的方法；
图3示出了根据本文所述的实施例的用于使用低分辨率和高分辨率栅格来执行超分辨的系统和方法的方面；
图4示出了适用于各种实施例的装置的一个实例；
图5描述用于执行根据本文所述的某些实施例的超分辨的方法；
图6是根据某些实施例可以使用的计算装置的一个实施方案；以及
图7是根据某些实施例的联网计算机系统的一个实施方案。
具体实施方式
如上所述，本文所述的实施例涉及超分辨，这是一个产生分辨率比创建超分辨图像的一或多个来源图像的分辨率更高的图像的过程。本文所述的实施例可以在期望超分辨率时提供对装置资源的高效使用，方法是通过使得装置的用户能够识别图像中的兴趣区域，并且使用处理资源创建仅仅兴趣区域的超分辨率图像，因而节省处理资源并且能实现对超分辨率图像的更快速呈现。
举例来说，对于上面有多张纸的桌子的图像，智能电话的用户可以激活超分辨率模块，其在电话显示器中呈现所述图像的预览，并且带有一个界面使得能够选择所述图像的包含单张纸的部分。这样可以使得用户能够在超分辨图像内识别这张纸上写的字，而这在原始图像分辨率下已经是看不清的了。
多种类型的超分辨率是可能的，并且如本文中所提到的，超分辨可以涉及由单个来源图像或由多个来源图像导出超分辨图像的过程。根据本文中论述的实施例使用的超分辨方法的实例包含多图像降噪、从多个图像的子像素过滤或使用单个图像的贝叶斯感应。
如本文中所提到的“场景”是装置的相机模块在一或多个相关图像中捕获的区域的地点或视图。因此，装置捕获的影片的相关图像可以是同一场景的图像，即使所述图像中的每一个并不覆盖完全相同的空间。在某些实施例中，因而，场景或场景的部分还可指代仅仅包括装置捕获的区域或视野的一部分的地点或视图。相机模块或装置中的传感器的实例可以包含半导体电荷耦合装置(CCD)以及互补型金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS)中的有源像素传感器。
图1A示出了一个装置101，其包含显示器103。如图1A中所示，显示器103中填满场景的图像118，装置101的相机模块可以捕获所述图像。装置101可以就是专用相机装置，或者可以是多功能装置，例如带有包括传感器的集成式相机模块的智能电话。在其它实施例中，装置101可以是例如膝上型计算机、电话、平板电脑、平板手机、带有相机插件装置或任何其它此计算装置的任何此装置。在显示器103上，示出虚线，其指示兴趣区域120，兴趣区域120包含图像部分122a，图像部分122a是在显示器103上所显示的整个场景的图像118的一部分。当用户跨越装置101的电容性触摸屏拖拽手指以创建与显示器103的边缘对准的矩形时可以创建兴趣区域120，其中兴趣区域120的拐角由作为用户输入对电容性触摸屏的初始触摸输入和最后触摸输入限定。在替代实施例中，超分辨率模块可经配置以自动识别图像或场景的用户已经选择来进行自动超分辨的带有例如书写内容的细节的部分。
图1B接着展示装置101的另一可能的实施例，其中已经配合包含图像118的一或多个图像使用识别的兴趣区域120来创建兴趣区域120的超分辨图像122b。超分辨图像122b被扩大，以在装置101的显示器103上提供最大细节。在某些实施例中，这样可以使得用户能够确定质量是否可接受，并且能够捕获额外图像或选择替代超分辨率设置，以便创建兴趣区域120的另一超分辨率图像。在替代实施例中，这样可以使得用户能够检测场景的关键部分，同时使用装置101上可用的额外处理资源，对兴趣区域120外部的在图像中捕获的场景的额外部分进行超分辨。在更进一步的实施例中，不是扩大兴趣区，而是可以在合适位置显示场景的超分辨部分，作为整个图像的较高分辨率部分，而较低分辨率部分仍然保留在位。
图2描述用于对用户选定的图像部分进行超分辨的一种方法。在这个实施例中，方法在S202中开始，使用装置的相机模块捕获场景的至少一个图像。如上所述，场景指代在一或多个静态图像或视频图像中捕获的区或图像。这个捕获过程可以是装置的相机设置或视频设置的一部分。S204接着描述在装置处接收识别兴趣区域的用户输入，其中所述兴趣区域识别场景的至少一个图像的小于完整图像的一部分。如上所述，这可以是触摸屏选择，然后围绕有待接受超分辨的图像部分绘制一个形状。在某些实施例中，可以在捕获至少一个图像之前接受用户输入。在其它实施例中，在捕获至少一个图像之后接受用户输入。在更进一步的实施例中，可以在接收到用户输入之前捕获一或多个图像，而可以在接收到用户输入之后捕获额外图像，并且可以接着使用所有图像对兴趣区进行超分辨。
S206接着描述由装置使用场景的至少一个图像创建兴趣区域的较高分辨率图像。通过S208到S212更具体地说明图2的实施例具体说明的这个过程。S208涉及创建与兴趣区域的较高分辨率图像关联的高分辨率栅格。这里“栅格”可以指任何可以用于以特定分辨率表示图像的信息的矩阵、数据结构或信息。举例来说，在1028像素乘1028像素的图像中，这个图像的“栅格”可以对应于在这个分辨率下通过1028乘1028像素为这个图像创建的栅格。S208的高分辨率栅格基本上对应于用户在S204中识别的兴趣区域的超分辨图像。在S210中，通过遵照上述方法识别与场景的至少一个图像的部分相关联的一或多个低分辨率栅格，以识别对应于所述过程中使用的每一图像部分的像素栅格的栅格。每一低分辨率栅格与一个图像相关联，并且每一低分辨率栅格的每一点包括相机模块捕获的信息。每一低分辨率栅格可以被视为一个标准分辨率图像。在S211中，识别高分辨率栅格与一或多个低分辨率栅格中的每一者之间的对准。这样使得能够识别多个相机图像之间的任何相位差，并且用来创建兴趣区域的超分辨图像。在S212中，在高分辨率栅格的每一点中填充来自对应的对准像素的信息，所述对准像素是来自所述一或多个低分辨率栅格(如果低分辨率栅格中存在对应像素的话)。在某些实施例中，这样可以允许创建兴趣区的高分辨率图像，而无需对兴趣区进行处理密集型图像处理。在另外的实施例中，这可以就是第一步骤，接着执行额外图像处理，以创建兴趣区域的高质量超分辨图像。
一旦创建了兴趣区域的超分辨图像，接着在S214中，装置的显示器可以显示兴趣区域的超分辨率图像。如上所述，这可以在显示器的全屏变焦中呈现，或者可以显示成取代原始较低分辨率兴趣区域部分，而场景的周围部分用原始较低分辨率呈现。在更进一步的实施例中，兴趣区域的超分辨率图像可以在作为超分辨率模块的一部分的预览面板中显示。在此模块中，预览显示器可以另外包含用户接口选项，用于进一步增加兴趣区域的图像的分辨率。因此，高分辨率栅格可以就呈现中间分辨率图像，并且可以执行额外的图像改善。作为这个任选的额外改善的一部分，可以基本上在S216中重复S206的过程。如所描述，S216可以任选地涉及创建具有高于原先创建的兴趣区域的高分辨率图像的分辨率的额外图像。可以通过创建与兴趣区域的额外较高分辨率图像相关联的额外较高分辨率栅格来执行这个操作。所述系统可以识别包含来自S206的高分辨率栅格的高分辨率栅格中的一或多个。S216接着进一步涉及确定额外较高分辨率栅格与一或多个高分辨率栅格中的每一个之间的对准。最后，在额外较高分辨率栅格中填充来自一或多个高分辨率栅格的对应像素的信息，其填充方式与在S212中填充高分辨率栅格的方式相同。这个过程可以重复任何数目次，以提供兴趣区域的越来越超分辨的图像。这个过程可能仅受到输出显示质量和未被超分辨过程补偿的图像噪声的约束。
作为另一图示，图3示出了与高分辨率栅格322对准的低分辨率栅格312的实例。图3中，通过三角形示出低分辨率栅格的每一点310，并且通过圆示出高分辨率栅格322的每一点320。如图2的方法所述，高分辨率栅格322的每一点320可以起初是空的，并且与点310分开。点310可以被视为来自一个图片图像或视频的一个帧的像素数据或信息。来自每一低分辨率图像的这些点或像素可以用于与每一图像相关联的低分辨率栅格。作为超分辨过程的一部分，低分辨率栅格312的点310与高分辨率栅格322的点320对准。如图3中所展示，低分辨率栅格312将覆盖与高分辨率栅格322相同的区，但是在相同区中将具有较低密度的点。作为超分辨过程的一部分，与点320匹配的点310将用于为高分辨率栅格322的对应点320提供信息。这在图3中展示为具有圆和三角形两者的点。直接使用来自对准的对应点的信息需要低于用于填充高分辨率栅格322以创建兴趣区的高分辨率图像的其它更处理密集型过程的处理负荷。如果使用多个图像，则可以接着使用来自额外低分辨率栅格的额外点，为图3中展示为不具有相关联点310的高分辨率栅格322的点320提供信息。在某些实施例中，可以以此方式创建用于高分辨率栅格322的所有数据。在其它实施例中，可以使用从的确具有信息的周围点创建的数据，使用内插或其它超分辨过程，来填充并不具有来自低分辨率栅格312或另一低分辨率栅格的直接对应点的点320。这可以包含使用多图像降噪、从多个图像的子像素过滤或贝叶斯感应，来补充作为例如低分辨率栅格312的一或多个低分辨率栅格中的点从相机图像直接获得的信息。
因而，如所描述的超分辨指代产生分辨率比给定相机传感器可以捕获的分辨率高的图像。广义地说，通过捕获一或多个较低分辨率图像然后合并这些图像以产生较高分辨率图像来实现超分辨。然而，这个问题的计算密集型性质使其无法成为没有足够处理资源的装置上的交互式特征。这通常意味着，用户使用移动装置捕获图像，然后在其它资源上离线处理这些图像。
通常，用户仅仅对图像的一部分的高分辨率细节感兴趣。因此，某些实施例可以通过在预览期间或在捕获图像之后允许用户选择兴趣区域(ROI)，且然后对所选ROI进行超分辨来解决上述问题。通过使用户选择他/她有兴趣进行超分辨的区域来实现这一点。这可以在预览模式中或在拍摄第一图像之后完成。从相机管线读取多个图像(N)。从所有较低分辨率图像中选择对应的ROI。将这些较低分辨率ROI馈送到超分辨算法。超分辨算法产生由用户选择的ROI的较高分辨率。向用户呈现所述ROI的较高分辨率图像。这个较高分辨率图像的质量可能比展示数字内插图像的替代方案好很多。图像数目N与用户感兴趣的超分辩率因数成比例。
为了针对速度和存储空间优化超分辨率应用，系统可以将捕获到的N(>1)个低分辨率图像合并成少数M(<N)个图像，而并不修改观察到的像素值。举例来说，这里N可以是16而M可以是4。这可以用下面的方式实现：如果Z1,Z2,….,Zn是观察到的低分辨率图像，则目标是通过在每一轴线上用因数s对Z1进行超分辨来获得较高分辨率图像Y。具体来说，如果Z1的尺寸是W×H，则Y具有sW×sH的尺寸。这里，Z2,…,Zn是尺寸为W×H的同一场景的经子像素移位的观察结果。对应于超分辨图像Y的图像栅格具有s2WH个样本，其等于超分辨像素的数目。另一方面，对应于图像Z1的图像栅格具有WH个像素。当Z1的图像栅格被按比例调整以匹配Y的较大图像栅格而不对观察结果进行内插时，图像栅格有WH数目个栅格点被填充。换句话说，在Z1的这个比例放大的高分辨率栅格中，(s2-1)WH个栅格点是空的。类似地，当其它低分辨率图像被个别地比例放大以匹配Y的图像栅格的大小时，这些图像也有WH个栅格位置被占据而(s2-1)WH个栅格位置是空的。对应于经比例放大的Zi的这些个别图像栅格是同一场景的经稍微移位的版本。为了获得Y，需要对准这些图像栅格。对准这些图像栅格的一种方式将是使用单应性。替代地，可以计算个别像素的运动(例如光流)以对准这些栅格。
在对准期间，可以将观察到的像素值的总数(等于n×W×H)累积到M个图像栅格中，这些图像栅格每个的大小为sW×sH。在一个实施例中，这可以通过下面的过程实现。计算图像Zi的第k个像素应当被复制到的栅格位置。组合图像栅格中的所述一者中的这个像素被复制到这个位置是空的地方。这样会将N个低分辨率图像合并成m个较大图像栅格，而并不修改任何观察结果。
在用户对特定的ROI进行超分辨感兴趣的实施例中，可以用两种方式改善用户体验。在用户正在选择ROI的同时，可存在空闲的CPU循环。可使用这些CPU循环来估计对准低分辨率图像必需的变换。此变换的两个实例将是低分辨率图像之间的单应性以及如上所述的光流。一旦选择了ROI，系统可以对用户选择的ROI进行超分辨。在用户正在分析超分辨图像的细节的同时，同样可以存在空闲的CPU循环。这些空闲循环可以用于对附近区域进行超分辨，而并不影响用户与图像的交互。这样使得各种实施例能够渐进地对整个图像进行超分辨，而用户无需等待整个渐进的超分辨，因为在用户在观察ROI的初始超分辨图像并且确定是接受还是拒绝初始超分辨图像的同时，渐进部分的至少一部分已经完成。如果用户在观察初始超分辨图像之后请求额外超分辨，则可以在请求后即刻向用户呈现渐进地分辨的部分，而不会有处理延迟。用户可以接着分析ROI的邻近部分。这样针对邻近分析的至少一部分为用户提供了无缝式体验，虽然如果用户请求的区大于渐进地超分辨的区的话，仍然可能发生处理延迟。
本文所述的实施例可以使得用户能够与场景和图像交互，因而向用户提供其感兴趣的区域的更高分辨率细节。某些实施例可以明显地减少处理资源有限的移动装置的超分辨时间，从而允许超分辨成为例如移动电话的移动装置上的交互式特征。实施例可以实现针对ROI的可实现的分辨率对用户的立即反馈。这样可以使得如果用户对前一版本不满意的话用户能够重新捕获图像，而不是一直等到稍后的时间，此时虽然有额外处理资源可用，但是可能无法拍摄额外或替代的低分辨率图像。本文中的实施例使得移动装置能够在拍摄原始图像之后立刻对图像进行超分辨，因而使得如果超分辨图像不可接受的话能够拍摄额外或替代的图像。
图4现在描述根据某些实施例的移动装置400的一个实施方案。如上所述，例如移动装置400的装置可以包含膝上型计算机、移动电话、平板电脑、平板手机、头戴式显示器、专用相机装置、数字录像机、具有相机装置插件的台式计算机或任何其它此计算装置。图4的移动装置400可以用于使用超分辨率模块421、相机模块430、处理器410和任何其它可能是移动装置400的一部分的硬件、软件和/或固件功能性对图像的一部分进行超分辨。移动装置400还可随用户接口一起显示超分辨图像。在某些实施例中，可以使用处理器410连同可以存储于存储器420中的计算机可读指令来实施本文所述的超分辨。超分辨率模块421可以包含对于输出超分辨图像的可接受特性的一组用户选择、设置或阈值，以及用于选择图像输入和分辨率并且测量图像和场景特性以实现输出超分辨图像的可接受特性的过程。
在例如移动装置400的装置将要实施根据本文所述的实施例的超分辨的某些实施例中，除了从相机模块430或超分辨率模块421接收信息之外，还可以从链路416或446接收一或多条相关信息，并且接着可以将任何相关信息存储于存储器420中，或作为应用程序424的一部分，或存储于存储器420的非暂时性存储装置中。
在图4处示出的实施例中，移动装置400包含处理器410，其经配置以执行用于在许多组件处实施操作的指令，且可(例如)为适合于在便携式电子装置内实施的通用处理器或微处理器。处理器410与移动装置400内的多个组件通信耦合。为了实现这一通信耦合，处理器410可跨越总线440与其它所说明的组件通信。总线440可为适合于在移动装置400内传送数据的任何子系统。总线440可为多个计算机总线并且包括用以传送数据的额外电路。
存储器420可以耦合到处理器410。在一些实施例中，存储器420提供短期和长期存储两者且实际上可被划分成若干单元。存储器420可为易失性的，例如静态随机存取存储器(SRAM)和/或动态随机存取存储器(DRAM)，和/或非易失性的，例如只读存储器(ROM)、快闪存储器等。此外，存储器420可包含可装卸式存储装置，例如安全数字(SD)卡。因此，存储器420提供用于移动装置400的计算机可读指令、数据结构、程序模块及其它数据的存储。在一些实施例中，存储器420可分布到不同硬件模块401中。
在一些实施例中，存储器420存储多个应用程序模块，这些应用程序模块可以是任何数目的应用程序424。应用程序模块含有待由处理器410执行的特定指令。在替代实施例中，其它硬件模块401可另外执行某些应用程序424或应用程序424的一些部分。在某些实施例中，存储器420可以另外包含安全存储器，其可以包含额外安全控件，以防对例如私人或安全相片的安全信息的复制或其它未授权的存取。
在一些实施例中，存储器420包含操作系统423。操作系统423可以可操作以起始应用程序模块提供的指令的执行和/或管理其它硬件模块401并且与通信模块介接，所述通信模块可以使用WAN无线收发器412和LAN无线收发器442分别经由天线414从链路416接收信息和/或经由天线444从链路446接收信息。操作系统423可适于跨越移动装置400的组件执行其它操作，包含线程处理、资源管理、数据存储控制和其它相似功能性。
在一些实施例中，移动装置400包含多个其它硬件模块401。其它硬件模块401中的每一者是移动装置400内的物理模块。但是，虽然硬件模块401中的每一个永久地配置为结构，但硬件模块401中的相应一个可经临时配置以执行特定功能或经临时激活。常见的实例是可以对相机模块430进行编程以进行快门释放和图像捕获的应用程序模块。硬件模块401中的相应一个可为例如加速计、Wi-Fi收发器、卫星导航系统接收器(例如GPS模块)、压力模块、温度模块、音频输出和/或输入模块(例如麦克风)、相机模块、接近传感器、一卡双号(ALS)模块、电容性触摸传感器、近场通信(NFC)模块、收发器、蜂窝收发器、磁力计、陀螺仪、惯性传感器(例如组合加速计和陀螺仪的模块)、环境光传感器、相对湿度传感器或可操作以提供感觉输出和/或接收感觉输入的任何其它类似模块。在一些实施例中，硬件模块401的一或多种功能可在软件中实施。在各种实施例中，超分辨率模块421可以将来自任何此类硬件模块401的信息与来自相机模块430的信息集成，以便向显示单元403输出超分辨图像。
移动装置400可以包含例如无线通信模块的一个组件，其可以将天线414和天线444以及无线收发器412和442与无线通信所必需的任何其它硬件、固件或软件集成，以便实现经由链路416和链路446的通信。此无线通信模块可经配置以经由网络和接入点从各种装置(如数据源)接收信号。除存储器420中的其它硬件模块401和应用程序424之外，移动装置400还可具有显示器输出403和用户输入模块404。显示器输出403以图形方式将来自移动装置400的信息呈现给用户。此信息可从一或多个应用程序424、一或多个硬件模块401、其组合，或任何其它用于为用户解析图形内容(例如通过操作系统423)的合适装置导出。举例来说，超分辨率模块421可以与相机模块430和操作系统423交互以在显示器输出403上呈现图像和用户接口。用户接口可以描述用户可以选择用户输入模块404处的哪些输入以对图像的一部分进行超分辨。在某个具体实例中，用户接口的一些部分可以响应于在触摸屏上勾画出ROI的触摸式输入而出现。用户接口可以进一步描述用于递增地增加超分辨率的可能的用户输入，同时在显示器输出403上显示对所述图像的更新。显示器输出403可为液晶显示器(LCD)技术、发光聚合物显示器(LPD)技术，或某种其它显示器技术。在一些实施例中，显示器输出403为电容性或电阻性触摸屏且可对与用户的触感及/或触觉接触敏感。在这类实施例中，显示器输出403可以包括多点触摸敏感显示器。在此类实施例中，用户输入模块404和显示器输出403可以是相同模块。用户输入模块404可以接收例如有待用于创建超分辨图像的多个低分辨率图像的输入的用户输入选择，或者可以接收关于所显示的超分辨图像是否具有足够质量或是否应当执行额外的超分辨的反馈。显示器输出403可以接着用于显示包括超分辨率模块421输出的超分辨图像的最终图像以供在显示器输出403上显示。
移动装置的额外实施例可进一步包括如下文关于图6详述的计算装置和如在图7中详述的网络的各个部分。
图5描述例如移动装置的装置可以用以实施图像的部分超分辨的具体方法。在S502中，执行移动装置上的超分辨率模块。这可以直接响应于用户选择，或者可以响应于用户选定选项或者响应于确定相机模块捕获的图像符合用于起始超分辨的某些准则而自动执行。在S504中，装置接收对于将要用于创建场景的一部分的超分辨率图像的一或多个图像的用户选择。这对应于可以用作超分辨过程的一部分的所述多个低分辨率输入图像和对应低分辨率栅格。这同样可以是用户的直接选择，或者是响应于先前选择的准则的自动选择。
在S506中，可以在装置的显示器输出上显示图像预览。在某些实施例中，这可包括相机模块已经捕获并且存储于存储器中的一或多个图像，或者可包括在任何图像被存储于装置的存储器中之前当前在相机模块的视野内的直接图像。
在S508中，接收到识别作为图像预览的一部分的兴趣区域的用户输入。这可以是：当用户输入是触摸屏时，是预览上的绘图；识别图像坐标的文本输入；或被存取以识别兴趣区域的先前选择的一组准则。与创建图像预览中展示的整个场景或整个图像的超分辨率图像所必需的资源相比，选择兴趣区域以减少创建兴趣区域的超分辨率图像所需的处理器资源。
在S510中，捕获来自S504的选定数目的图像并且将其存储起来以供超分辨率模块存取。在S512中，使用所选数目的图像中的每一个的至少一部分创建兴趣区域的超分辨图像。这个过程可以与图3中描述的过程相似或相同。在S514中，在装置的显示器输出上显示兴趣区域的超分辨率图像还有用于接受或拒绝所述图像的用户接口。在S516中，如果所述图像被接受，则所述过程进行到S518。如果所述图像被拒绝，则所述过程返回到S504，并且可以选择额外图像或处理选项来改善用于兴趣区域的图像的潜在质量。如果所述过程继续，则在S518中，将兴趣区域的超分辨率图像存储于所述装置的存储器中。所述图像可以接着由所述装置输出或显示。
在另外的实施例中，装置可以使用选定的区将图像的一部分的超分辨优先化，并且可以在选定部分以超分辨格式显示给用户之后自动开始图像的其余部分的超分辨。在更进一步的实施例中，可以使用网络来接入远程计算资源以便进行超分辨过程中的一些或全部。在更进一步的实施例中，如果在图像预览步骤期间有额外处理资源可用，则所述装置可以在用户选择兴趣区域之前估计对图像和/或图像的一些部分进行超分辨所必需的时间或资源。可以将这个信息呈现给用户，或者可以使用这个信息来改善兴趣区域或整个图像的超分辨处理。
图6示出了可在电子装置602中利用的多个组件。装置602或装置602的任何组件可以用作实施根据本文所述的实施例的超分辨的装置的一部分，或者可以描述一个与实施根据此类实施例的超分辨的装置联网的装置。所说明的组件可位于同一物理结构内或位于分开的外壳或结构中。可以根据本文所述的电子装置和无线通信装置中的至少一个来实施关于图6描述的电子装置602。电子装置602包含处理器611。处理器611可以是通用单芯片或多芯片微处理器(例如ARM)，专用微处理器(例如数字信号处理器(DSP))，微控制器，可编程门阵列等。处理器611可被称作中央处理单元(CPU)。虽然图6的电子装置602中仅展示了单个处理器611，但是在替代配置中，可以使用多个处理器(例如ARM和DSP)的组合。不同实施例中可以使用任何能够从低分辨率图像的像素确定栅格和创建图像的超分辨部分、或者执行图2、图5或根据本文所述的实施方案工作的任何其它此超分辨过程的要素的处理器。
电子装置602还包含与处理器611进行电子通信的存储器605。也就是说，处理器611可从存储器605读取信息及/或将信息写入到存储器605。存储器605可以是能够存储电子信息的任何电子组件。存储器605可为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器一起包含的机载存储器、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、寄存器等，包含其组合。
数据609a和指令607a可以存储于存储器605中。指令607a可以包含至少一个程序、例程、子例程、函数、程序等。在各种实施例中，这些可包括在存储器605中存储指令的计算机程序产品，其中所述指令可以由处理器611执行以使得装置执行图2、图5所描述的超分辨，或者根据本文所述的实施方案工作的任何其它超分辨过程。指令607a可包含单个计算机可读语句或许多计算机可读语句。指令607a可以由处理器611执行以实施以上所描述的方法中的至少一种。执行指令607a可涉及使用存储于存储器605中的数据609a。图6展示一些指令607b和数据609b正被加载到处理器611中(其可以来自指令607a和数据609a)。
电子装置602还可包含至少一个通信接口613，用于与其它电子装置通信。通信接口613可基于有线通信技术、无线通信技术或这两者。不同类型的通信接口613的实例包含串行端口、并行端口、通用串行总线(USB)、以太网适配器、IEEE1394总线接口、小型计算机系统接口(SCSI)总线接口、红外(IR)通信端口、蓝牙无线通信适配器等。在某些实施例中，通信接口613可以用于接收对于在电子装置602上操作的超分辨率模块的更新，或者将关于兴趣区域或用户选择的信息传送到提供与超分辨率有关的服务的服务器。在更进一步的实施例中，可以经由通信接口613传送图像、图像的一些部分或图像的超分辨部分。
所述电子装置602还可包含至少一个输入装置686和至少一个输出装置684。不同种类的输入装置686的实例包含键盘、鼠标、麦克风、遥控器装置、按钮、操纵杆、轨迹球、触摸板、光笔等。举例来说，电子装置602可以包含用于捕获声学信号的至少一个麦克风606。在一种配置中，麦克风606可为将声学信号(例如，语音、话语)转换成电信号或电子信号的换能器。不同种类的输出装置684的实例包含扬声器、打印机等。举例来说，电子装置602可以包含至少一个扬声器668。在一种配置中，扬声器668可为将电信号或电子信号转换为声学信号的换能器。可通常包含在电子装置602中的一种特定类型的输出装置为显示装置692。与本文中所揭示的配置一起使用的显示装置692可利用任何合适的图像投影技术，例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、气体等离子体、电致发光或类似物。还可提供显示控制器690，其用于将存储于存储器605中的数据转换为显示装置692上展示的文本、图形和/或移动图像(按需要)。在各种实施例中，显示装置692可以显示低分辨率图像和超分辨图像两者或两者的组合，以及用户接口，如相对于显示器输出403所描述。输入装置686可以用于接受与选择兴趣区域和超分辨设置有关的用户命令，如相对于用户输入模块404所描述。
电子装置602的多个组件可以通过至少一个总线耦合在一起，所述总线可以包含电力总线、控制信号总线、状态信号总线、数据总线等。为简单起见，图6中将多个总线示出为总线系统615。应注意，图6仅仅示出了电子装置602的一种可能的配置。可以利用各种其它架构和组件。
在本文所述的各种实施例中，计算装置可联网，以便传送信息。举例来说，移动装置100和300可以联网以如上所述接收信息。此外，网络930可能更加复杂并且涉及许多不同装置。另外，这些元件中的每一个可以参与与例如网络服务器、数据库或计算机的其它装置的联网通信，所述其它装置提供对用于如本文所述改善音频性能的信息的存取。
图7示出了联网计算装置的系统700的示意图，所述计算装置可以根据各种实施例使用，以实现用于可以实施根据本文所述的实施例的超分辨的装置的某种功能性。在各种实施例中，系统700的元件可以用以收集图像或用户选择信息，以处理图像的一些部分，或者对在装置上实施的超分辨过程提供任何潜在的支持。举例来说，在某些实施例中，可以在移动装置上对兴趣区域进行超分辨，并且可以使用联网资源对场景的其余部分进行超分辨。
系统700可包含一或多个用户计算装置705。用户计算装置705可以是类似于图6的装置的通用个人计算机(仅举例来说，包含运行和/或操作系统的任何适当衍生系统的个人计算机和/或膝上型计算机)和/或运行多种可商购的或UNIX类操作系统中的任一者的工作站计算机。这些用户计算装置705还可具有多种应用程序中的任一者，包含经配置以执行本发明的方法的一或多个应用程序，以及一或多个办公应用程序、数据库客户端和/或服务器应用程序，以及网络浏览器应用程序。或者，用户计算装置705可为能够经由网络(例如下文描述的网络710)进行通信和/或显示并导览网页或其它类型的电子文档的任何其它电子装置，例如轻型客户端计算机、具有因特网功能的移动电话，和/或个人数字助理(PDA)。尽管示出示范性系统700具有三个用户计算装置705a-c，但可支持任何数目个用户计算装置。
本发明的某些实施例在可包含网络710的联网环境中操作。网络710可为所属领域的技术人员所熟悉的可使用多种市售协议(包含但不限于TCP/IP、SNA、IPX、等等)中的任一者来支持数据通信的任何类型的网络。仅举例来说，网络710可为：局域网(“LAN”)，包含(但不限于)以太网网络、令牌环网络和/或其类似者；广域网(WAN)；虚拟网络，包含(但不限于)虚拟专用网络(“VPN”)；因特网；内联网；外联网；公共交换电话网络(“PSTN”)；红外线网络；无线网络，包含(但不限于)在IEEE702.11套件协议、所属领域中已知的蓝牙协议及/或任何其它无线协议中的任一者下操作的网络；和/或这些和/或其它网络的任何组合。网络710可包含用于实现各种计算装置对网络710的接入的接入点。
在某些实施例中，实施方案可以包含可以经由例如网络710的网络联网在一起的模块。举例来说，在某些实施例中，例如相机模块430的相机可以是不同于处理器410的装置的一部分。在此类实施例中，低分辨率图像的图像数据可以从例如相机模块的相机模块传送到单独的装置中的处理器，例如处理器410。在实施图2的方法的此类实施例中，将由第一装置可能响应于来自第二装置的联网通信而执行S202。第二装置将接着执行S204到S212。在其它实施例中，此过程可以涉及任何数目的不同装置。
本发明的实施例可包含一或多个服务器760。服务器760中的每一者可以配置有操作系统，包含但不限于上文所论述的任何操作系统，以及任何商业上(或免费地)可获得的服务器操作系统。服务器760中的每一者还可运行一或多个应用程序，所述一或多个应用程序可经配置以向一或多个用户计算装置705和/或其它服务器760提供服务。在某些实施例中，服务器760可以经由网络710向例如移动装置400的装置提供例如超分辨率模块421的超分辨率模块。
仅举例来说，服务器760中的一者可为网络服务器，其可用于(仅举例来说)处理来自用户计算装置705的对网页或其它电子文档的请求。网络服务器还可运行多种服务器应用程序，包括HTTP服务器、FTP服务器、CGI服务器、数据库服务器、服务器等等。在本发明的一些实施例中，网络服务器可经配置以提供可在用户计算装置705中的一或多者上的网络浏览器内操作以执行本发明的方法的网页。此类服务器可与特定IP地址相关联，或可与具有特定URL的模块相关联，且因此可存储安全导航模块，其可与例如移动装置400等移动装置交互，以提供地理点的安全指示，作为提供给移动装置400的定位服务的一部分。在某些实施例中，此网络服务器可以向移动装置提供超分辨率模块或对超分辨率模块的更新，以使得移动装置能够实施根据本文所述的实施例的超分辨。
根据其他实施例，一或多个服务器760可以充当文件服务器和/或可包含实施通过在用户计算装置705和/或另一服务器760上运行的应用程序并入的各种实施例的方法所必需的文件中的一或多个(例如应用程序代码、数据文件等)。或者，如所属领域的技术人员将了解，文件服务器可包括所有必要文件，从而允许用户计算装置705和/或服务器760远程调用这类应用程序。应注意，本文相对于各种服务器(例如应用程序服务器、数据库服务器、网络服务器、文件服务器等)所描述的功能可由单个服务器和/或多个专用服务器来执行，取决于实施方案特定的需求和参数。
在某些实施例中，所述系统可包含一或多个数据库720。在一个实施例中，数据库720可以存储对于超分辨的用户选择或用户准则。当超分辨率模块下载到移动装置时，可以包含移动装置或用户特定的先前选择的用户准则。数据库720的位置是自行决定的：仅举例来说，数据库720a可驻留在服务器760a(和/或用户计算装置705)本地的存储媒体上(和/或驻留在服务器760a(和/或用户计算装置705)中)。替代地，数据库720b可以在用户计算装置705或服务器760中的任一者或全部远端，只要数据库720b可以与用户计算装置或服务器中的一或多个通信(例如经由网络710)即可。在一组特定实施例中，数据库720可驻留在所属领域的技术人员所熟悉的存储区域网络(“SAN”)中。(同样，用于执行归于用户计算装置705或服务器760的功能的任何必需文件可酌情本地存储在相应的计算机上和/或远程存储。)在一组实施例中，数据库720可为关系型数据库，如数据库，其适合于响应于SQL格式化命令而存储、更新以及检索数据。可通过例如类似于上述数据库服务器的一个数据库服务器来控制和/或维持数据库。
上文所论述的方法、系统及装置为实例。各种实施例可酌情省略、替换或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以用不同于所描述的次序来执行，和/或可添加、省略和/或组合各种阶段。并且，可在各种其它实施例中组合关于某些实施例描述的特征。可以类似方式组合实施例的不同方面和元件。
在以上描述中，有时结合各种术语而使用参考标号。在结合参考标号使用术语的情形下，此可意在指代图中的至少一个中所示的特定元件。在无参考标号的情况下使用术语的情形下，此可意在总体上指代术语，而不限于任何特定图。
术语“耦合”或“链路”及其任何变化可指示元件之间的直接或间接连接。举例来说，耦合到第二元件的第一元件可以直接连接到第二元件，或通过另一元件间接连接到第二元件。
术语“处理器”应该广义地解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等等。在一些情况下，“处理器”可指代专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可以指处理装置的组合，例如，数字信号处理器(DSP)和微处理器的组合、多个微处理器的组合、至少一个微处理器配合数字信号处理器(DSP)核心的组合或任何其它此配置。
术语“存储器”应广义上解释为涵盖能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等。如果处理器可从存储器读取信息和/或写入信息到存储器，那么存储器被称为与处理器电子通信。与处理器成一体的存储器与处理器进行电子通信。
术语“指令”和“代码”应被广义地解释为包含任何类型的计算机可读语句。举例来说，术语“指令”和“代码”可指程序(program)、例程、子例程、函数、程序(procedure)等中的至少一个。“指令”和“代码”可以包括单一计算机可读语句或许多计算机可读语句。
应注意，在相容的情况下，结合本文中所描述的配置中的任一者所描述的特征、功能、程序、组件、元件、结构等中的至少一者可与结合本文中所描述的其它配置中的任一者所描述的功能、程序、组件、元件、结构等中的至少一者进行组合。换句话说，可根据本文中揭示的系统和方法来实施本文中所描述的功能、程序、组件、元件等的任何相容的组合。
提供对所描述的配置的前述呈现以使得所属领域的技术人员能够制作或使用本文中揭示的方法及其它结构。本文中所展示和描述的流程图、框图和其它结构仅为实例，且这些结构的其它变型也在本发明的范围内。对这些配置的各种修改均为可能的，且本文中所呈现的一般原理也可应用于其它配置。因此，本发明无意限于以上展示的配置而是将被赋予与本文中(包含在形成原始揭示内容的部分的所申请的所附权利要求书中)以任何方式所揭示的原理及新颖特征一致的最广范围。
所属领域的技术人员将了解，可使用多种不同技术及技法中的任一者来表示信息及信号。例如，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个以上描述中参考的数据、指令、命令、信息、信号、位及符号。
如本文所揭示的配置的实施方案的重要设计要求可包含使处理延迟及/或计算复杂度(通常以每秒百万指令或MIPS进行测量)最小化，尤其对于计算密集的应用，例如压缩音频或视听信息的回放(例如，根据压缩格式而编码的文件或流，例如本文中指出的实例中的一者)或对于宽带通信的应用(例如，在高于八千赫兹(例如，6kHz、16kHz、32kHz、44.1kHz、48kHz或192kHz)的取样率下的话音通信)。
本文所揭示的设备(例如被配置成执行本文所述的技术的任何装置)可以用硬件与软件和/或与固件的任何被视为适合于既定应用的组合实施。举例来说，可将此设备的元件制造为(例如)驻留在相同芯片上或芯片组中的两个或更多个芯片当中的电子及/或光学装置。此装置的一个实例是逻辑元件(例如，晶体管或逻辑门)的固定或可编程阵列，并且这些元件中的任一者可实施为一或多个所述阵列。这些元件中的任何两个或更多个或甚至全部可实施于同一个(一些)阵列内。此阵列或此些阵列可实施在一或多个芯片内(例如，包含两个或更多个芯片的芯片组内)。
本文中揭示的设备的各个实施方案的一或多个元件可完全或部分地实施为一或多个指令集，所述一或多个指令集经布置以在逻辑元件的一或多个固定或可编程阵列上执行，例如微处理器、嵌入式处理器、知识产权(IP)核心、数字信号处理器、现场可编程门阵列(FPGA)、专用标准产品(ASSP)及专用集成电路(ASIC)。如本文所揭示的设备的实施方案的各个元件中的任一者还可体现为一或多个计算机(例如，包含经编程以执行指令的一或多个集合或序列的一或多个阵列的机器，也称为“处理器”)，且这些元件中的任何两个或更多个或甚至全部可实施在相同的此类计算机内。
可将如本文所揭示的处理器或用于处理的其它装置制造为(例如)驻留在相同芯片上或芯片组中的两个或更多个芯片当中的一或多个电子及/或光学装置。此装置的一个实例是逻辑元件(例如，晶体管或逻辑门)的固定或可编程阵列，并且这些元件中的任一者可实施为一或多个所述阵列。此阵列或此些阵列可实施在一或多个芯片内(例如，包含两个或更多个芯片的芯片组内)。所述阵列的实例包含逻辑元件的固定或可编程阵列(例如微处理器、嵌入式处理器、IP核心、DSP、FPGA、ASSP及ASIC)。如本文所揭示的处理器或其它用于处理的装置还可体现为一或多个计算机(例如，包含经编程以执行指令的一或多个集合或序列的一或多个阵列的机器)或其它处理器。如本文所描述的处理器有可能用于执行任务或执行不直接与如本文所揭示的方法的实施方案的程序相关的其它指令集，例如，与其中嵌入有处理器的装置或系统(例如，音频感测装置)的另一操作相关的任务。如本文所揭示的方法的一部分还有可能由音频感测装置的处理器执行，且方法的另一部分还有可能在一或多个其它处理器的控制下执行。
此外，所属领域的技术人员将了解，结合本文所揭示的配置而描述的各种说明性模块、逻辑块、电路及测试和其它操作可实施为电子硬件、计算机软件或两者的组合。可使用通用处理器、数字信号处理器(DSP)、ASIC或ASSP、FPGA或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件、或其经设计以产生如本文所揭示的配置的任何组合来实施或执行所述模块、逻辑块、电路及操作。举例来说，可将此配置至少部分地实施为硬连线电路、实施为制造到专用集成电路中的电路配置，或实施为加载到非易失性存储装置的固件程序或作为机器可读代码从数据存储媒体加载或加载到数据存储媒体中的软件程序，此代码为可由例如通用处理器或其它数字信号处理单元等逻辑元件阵列执行的指令。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器配合DSP核心的组合，或任何其它此配置。软件模块可驻留在非暂时性存储媒体中，所述非暂时性存储媒体例如是随机存取存储器(RAM)、只读存储器(ROM)、非易失性RAM(NVRAM)(例如，快闪RAM、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM))、寄存器、硬盘、可装卸式磁盘或CD-ROM；或驻留在所属领域中已知的任何其它形式的存储媒体中。说明性存储媒体耦合到处理器，使得处理器可以从存储媒体读取信息和将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻留于ASIC中，并且ASIC可驻留于用户终端中。在替代方案中，处理器及存储媒体可作为离散组件驻留在用户终端中。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)结合。
应注意，本文所揭示的各种方法可以通过逻辑元件阵列(例如处理器)执行，并且本文所述的设备的各种元件可以实施为经设计以在此阵列上执行的模块。如本文所使用，术语“模块”或“子模块”可指包含呈软件、硬件或固件形式的计算机指令(例如，逻辑表达式)的任何方法、设备、装置、单元或计算机可读数据存储媒体。应理解，可将多个模块或系统组合为一个模块或系统，且可将一个模块或系统分离成多个模块或系统以执行相同功能。在以软件或其它计算机可执行指令实施时，过程的元件基本上是用以例如使用例程、程序、对象、组件、数据结构及其类似者执行相关任务的代码段。术语“软件”应理解为包含源代码、汇编语言代码、机器代码、二进制代码、固件、宏码、微码、可由逻辑元件阵列执行的任何一或多个指令集或序列以及此类实例的任何组合。所述程序或代码段可存储在处理器可读媒体中或通过体现在传输媒体或通信链路上的载波中的计算机数据信号传输。
本文中所揭示的方法、方案和技术的实施方案还可有形地体现(例如，在如本文中所列举的一或多个计算机可读存储媒体的有形计算机可读特征中)为可由包含逻辑元件阵列(例如，处理器、微处理器、微控制器或其它有限状态机)的机器执行的一或多个指令集。术语“计算机可读媒体”可包含可存储或传送信息的任何媒体，包含易失性、非易失性、可装卸式及非可装卸式媒体。计算机可读媒体的实例包含电子电路、半导体存储器装置、ROM、快闪存储器、可擦除ROM(EROM)、软盘或其它磁性存储装置、CD-ROM/DVD或其它光学存储装置、硬盘或可用来存储所要信息的任何其它媒体、光纤媒体、射频(RF)链路或可用来携载所要信息并可存取的任何其它媒体。计算机数据信号可包含可经由传输媒体传播的任何信号，所述传输媒体例如是电子网络信道、光纤、空气、电磁、RF链路等。可经由例如因特网或内联网等计算机网络下载代码段。在任何情况下，不应将本发明的范围解释为受此类实施例限制。本文中所描述的方法的任务中的每一者可直接以硬件、以由处理器执行的软件模块，或以所述两者的组合体现。在如本文所揭示的方法的实施方案的典型应用中，逻辑元件(例如，逻辑门)的阵列经配置以执行所述方法的各种任务中的一者、一者以上或甚至全部。还可将所述任务中的一或多者(可能全部)实施为体现在计算机程序产品(例如，一或多个数据存储媒体，例如磁盘、快闪或其它非易失性存储器卡、半导体存储器芯片等)中的代码(例如，一或多个指令集)，所述计算机程序产品可由包含逻辑元件阵列(例如，处理器、微处理器、微控制器或其它有限状态机)的机器(例如，计算机)读取及/或执行。如本文所揭示的方法的实施方案的任务还可由一个以上此阵列或机器执行。在这些或其它实施方案中，所述任务可在用于无线通信的装置(例如，蜂窝式电话或具有此通信能力的其它装置)内执行。此类装置可经配置以与电路交换式及/或包交换式网络(例如，使用例如VoIP等一或多个协议)通信。举例来说，此装置可包含经配置以接收及/或发射经编码帧的RF电路。
明确地揭示的是，本文中揭示的各种方法可由例如手持机、头戴耳机或便携式数字助理(PDA)等便携式通信装置执行，且本文中描述的各种设备可包含在此装置内。典型的实时(例如，在线)应用是使用此移动装置进行的电话交谈。
因此，在一或多个示范性实施例中，本文中描述的操作可在硬件、软件、固体或其任何组合中实施。如果实施于软件中，那么可将此类操作作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输。术语“计算机可读媒体”包含计算机可读存储媒体及通信(例如，传输)媒体两者。举例来说而非限制，计算机可读存储媒体可包括存储元件阵列，例如半导体存储器(其可包含(不限于)动态或静态RAM、ROM、EEPROM及/或快闪RAM)，或铁电、磁阻式、双向、聚合或相变存储器；CD-ROM或其它光盘存储装置；及/或磁盘存储装置或其它磁性存储装置。此类存储媒体可按可由计算机存取的指令或数据结构的形式存储信息。通信媒体可包括可用于携载呈指令或数据结构的形式的所希望的程序代码且可由计算机存取的任何媒体，包含促进将计算机程序从一处传送到另一处的任何媒体。同样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如红外线、无线电及/或微波)从网站、服务器或其它远程源传输软件，那么所述同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如红外线、无线电及/或微波)包含在媒体的定义中。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及Blu-ray其中磁盘通常以磁性方式复制数据，而光盘用激光以光学方式复制数据。上述各项的组合也应该包含在计算机可读媒体的范围内。
如本文所描述的设备的实施方案的一或多个元件有可能用于执行任务或执行不直接与所述设备的操作相关的其它指令集，例如，与其中嵌入有所述设备的装置或系统的另一操作相关的任务。此设备的实施方案的一或多个元件还有可能具有共同的结构(例如，用以执行对应于不同时间的不同元件的代码的部分的处理器、经执行以在不同时间实行对应于不同元件的任务的指令集，或在不同时间执行不同元件的操作的电子及/或光学装置的布置)。
应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可在本文中所描述的系统、方法和设备的布置、操作和细节方面作出各种修改、改变和变更。
说明书附录
1“Bluetooth”文字标志和徽标是蓝牙SIG公司所有的注册商标。其它商标和品牌名称是其相应所有者的商标和商品名称。
2“Microsoft”和“Windows”是美国和/或其它国家的微软公司的注册商标或商标。
3“MacOS”和“AppleTalk”是苹果公司在美国和其它国家注册的注册商标。
4“UNIX”是开放集团的注册商标。
5“Java”和“Oracle”是甲骨文和/或其附属机构的注册商标。其它名称可以是其相应所有者的商标。
6“Blu-rayDisc”是蓝光联盟(BDA)所有的商标。

Claims (26)

1.一种改善用户选定的兴趣区域的图像质量的方法，其包括：
使用装置的相机模块捕获场景的至少一个图像；
在所述装置处接收识别兴趣区域的用户输入，其中所述兴趣区域识别所述场景的所述至少一个图像的小于所述至少一个图像的完整区域的部分；以及
通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的较高分辨率图像：
创建与所述兴趣区域的所述较高分辨率图像相关联的高分辨率栅格；
识别与所述场景的所述至少一个图像的所述部分相关联的一或多个低分辨率栅格，其中每一低分辨率栅格与一个图像相关联，并且其中每一低分辨率栅格的每一点包括所述相机模块捕获的信息；
确定所述高分辨率栅格与所述一或多个低分辨率栅格中的每一者之间的对准；以及
用从来自所述一或多个低分辨率栅格的对应对准像素得来的信息填充所述高分辨率栅格的点。
2.根据权利要求1所述的方法，其中在接收到识别所述兴趣区域的所述用户输入之前捕获所述场景的所述至少一个图像；并且
其中识别所述兴趣区域的所述用户输入是当在显示器输出上显示所述场景时在所述显示器输出上的识别所述至少一个图像的所述部分的触摸屏输入。
3.根据权利要求1所述的方法，其中在接收到识别所述兴趣区域的所述用户输入之后捕获所述场景的所述至少一个图像。
4.根据权利要求1所述的方法，其中所述场景的所述至少一个图像由所述场景的单个图像组成，并且其中创建所述兴趣区域的所述较高分辨率图像包括使用在所述场景的所述单个图像中识别的补片冗余从所述场景的所述单个图像创建所述兴趣区域的所述较高分辨率图像。
5.根据权利要求1所述的方法，其进一步包括：
在所述捕获所述场景的所述至少一个图像之前在所述装置处接收用户输入，所述用户输入选择有待捕获的多个图像以用于创建所述兴趣区域的所述较高分辨率图像，
其中捕获所述至少一个图像包括自动捕获所述场景的所述多个图像；并且
其中创建所述兴趣区域的所述较高分辨率图像包括识别所述多个图像中的每一图像中的所述兴趣区域，以及使用所述多个图像中的每一图像中的所述识别的兴趣区域来创建所述兴趣区域的所述较高分辨率图像。
6.根据权利要求1所述的方法，其进一步包括：
在所述装置的显示器输出上显示所述兴趣区域的所述较高分辨率图像。
7.根据权利要求6所述的方法，其进一步包括：
创建所述至少一个图像的在所述兴趣区域外部的至少一部分的第二较高分辨率图像。
8.根据权利要求1所述的方法，其进一步包括：
捕获所述装置上的至少一个传感器的传感器数据；以及
使所述传感器数据与所述至少一个图像相关联，
其中所述传感器数据用于创建所述兴趣区域的所述较高分辨率图像。
9.根据权利要求8所述的方法，其中所述传感器数据包括来自所述装置的加速计的运动数据。
10.根据权利要求1所述的方法，其进一步包括：
显示所述兴趣区域的所述较高分辨率图像作为预览图像；
响应于所述显示所述预览图像而接收请求额外增加所述兴趣区域的所述较高分辨率图像的分辨率的用户输入；以及
通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的第二较高分辨率图像：
创建与所述兴趣区域的所述额外较高分辨率图像相关联的第二较高分辨率栅格；
识别一或多个高分辨率栅格；
确定所述第二较高分辨率栅格与所述一或多个高分辨率栅格中的每一者之间的对准；以及
用从来自所述一或多个高分辨率栅格的所述对应对准像素得来的信息填充所述第二较高分辨率栅格的每一点。
11.一种装置，其包括：
存储器；
用户输入模块；
相机模块，其包括传感器；以及
处理器，其耦合到所述存储器和所述相机模块，所述处理器经配置以：
使用所述装置的所述相机模块捕获场景的至少一个图像；
在所述用户输入模块处接收识别兴趣区域的用户输入，其中所述兴趣区域识别所述场景的所述至少一个图像的小于所述至少一个图像的完整区域的部分；以及
通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的较高分辨率图像：
创建与所述兴趣区域的所述较高分辨率图像相关联的高分辨率栅格；
识别与所述场景的所述至少一个图像的所述部分相关联的一或多个低分辨率栅格，其中每一低分辨率栅格与一个图像相关联，并且其中每一低分辨率栅格的每一点包括所述相机模块捕获的信息；
确定所述高分辨率栅格与所述一或多个低分辨率栅格中的每一者之间的对准；以及
用从来自所述一或多个低分辨率栅格的对应对准像素得来的信息填充所述高分辨率栅格的点。
12.根据权利要求11所述的装置，其进一步包括：
显示器输出；
其中在接收到识别所述兴趣区域的所述用户输入之前捕获所述场景的所述至少一个图像；并且
其中所述用户输入模块是所述显示器输出的触摸屏输入。
13.根据权利要求12所述的装置，其中所述处理器进一步经配置以：
在所述装置的所述显示器输出上显示所述兴趣区域的所述较高分辨率图像。
14.根据权利要求13所述的装置，其中所述处理器进一步经配置以：
当在所述装置的所述显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，识别所述处理器上可用的空闲计算机处理单元循环；以及
当在所述显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，使用所述场景的所述至少一个图像创建所述至少一个图像的在所述兴趣区域外部的至少一部分的第二较高分辨率图像。
15.根据权利要求11所述的装置，其中所述场景的所述至少一个图像由所述场景的单个图像组成，并且其中创建所述兴趣区域的所述较高分辨率图像包括使用在所述场景的所述单个图像中识别的补片冗余从所述场景的所述单个图像创建所述兴趣区域的所述较高分辨率图像。
16.根据权利要求11所述的装置，其中所述处理器进一步经配置以：
在所述捕获所述场景的所述至少一个图像之前在所述装置处接收用户输入，所述用户输入选择有待捕获的多个图像以用于创建所述兴趣区域的所述较高分辨率图像。
17.根据权利要求11所述的装置，其进一步包括耦合到所述处理器的加速计，其中所述处理器进一步经配置以：
从所述加速计捕获运动数据；
使所述运动数据与所述至少一个图像相关联；以及
使用所述运动数据创建所述兴趣区域的所述较高分辨率图像。
18.一种非暂时性计算机可读存储媒体，其包括指令集，所述指令集在由耦合到所述存储媒体的处理器执行时，使装置改善用户选定的兴趣区域的图像质量，所述指令包括：
在所述装置处接收场景的至少一个图像；
在所述装置处接收识别兴趣区域的用户输入，其中所述兴趣区域识别所述场景的至少一个图像的小于所述至少一个图像的完整区域的部分；以及
通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的较高分辨率图像：
创建与所述兴趣区域的所述较高分辨率图像相关联的高分辨率栅格；
识别与所述场景的所述至少一个图像的所述部分相关联的一或多个低分辨率栅格，其中每一低分辨率栅格与一个图像相关联，并且其中每一低分辨率栅格的每一点包括相机模块捕获的信息；
确定所述高分辨率栅格与所述一或多个低分辨率栅格中的每一者之间的对准；以及
用从来自所述一或多个低分辨率栅格的对应对准像素得来的信息填充所述高分辨率栅格的点。
19.根据权利要求18所述的非暂时性计算机可读媒体，其中所述指令进一步包括：
当在所述装置的显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，识别所述装置上可用的空闲计算机处理单元循环；以及
当在所述显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，创建所述至少一个图像的在所述兴趣区域外部的至少一部分的第二较高分辨率图像。
20.根据权利要求18所述的非暂时性计算机可读媒体，其中所述指令进一步包括：
显示所述兴趣区域的所述较高分辨率图像作为预览图像；
响应于所述显示所述预览图像而接收请求额外增加所述兴趣区域的所述较高分辨率图像的分辨率的用户输入；以及
通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的额外较高分辨率图像：
创建与所述兴趣区域的所述额外较高分辨率图像相关联的额外较高分辨率栅格；
识别包括所述高分辨率栅格的一或多个高分辨率栅格；
确定所述额外较高分辨率栅格与所述一或多个高分辨率栅格中的每一者之间的对准；以及
用从来自所述一或多个高分辨率栅格的所述对应对准像素得来的信息填充所述额外较高分辨率栅格的每一点。
21.根据权利要求18所述的非暂时性计算机可读媒体，其中所述指令进一步包括：
借助用于接受或拒绝所述兴趣区域的所述较高分辨率图像的用户接口显示所述兴趣区域的所述较高分辨率图像作为预览图像。
22.一种用于改善用户选定的兴趣区域的图像质量的装置，其包括：
用于接收场景的至少一个图像的装置；
用于接收识别兴趣区域的用户输入的装置，其中所述兴趣区域识别所述场景的所述至少一个图像的小于所述至少一个图像的完整区域的部分；以及
用于创建与所述兴趣区域的所述较高分辨率图像相关联的高分辨率栅格的装置；
用于识别与所述场景的所述至少一个图像的所述部分相关联的一或多个低分辨率栅格的装置，其中每一低分辨率栅格与一个图像相关联，并且其中每一低分辨率栅格的每一点包括所述相机模块捕获的信息；
用于确定所述高分辨率栅格与所述一或多个低分辨率栅格中的每一者之间的对准的装置；以及
用于用从来自所述一或多个低分辨率栅格的对应对准像素得来的信息填充所述高分辨率栅格的点以创建所述兴趣区域的超分辨图像的装置。
23.根据权利要求22所述的装置，其进一步包括：
用于显示所述场景的所述至少一个图像并且用于显示所述兴趣区域的所述超分辨图像的装置。
24.根据权利要求22所述的方法，其中所述用于接收所述场景的至少一个图像的装置包括无线收发器。
25.根据权利要求22所述的方法，其进一步包括：
用于响应于用户输入来更新所述兴趣区域的所述超分辨图像的装置。
26.根据权利要求22所述的方法，其进一步包括：
用于显示用于接受或拒绝所述兴趣区域的所述超分辨图像的用户接口的装置；以及
用于响应于接受所述兴趣区域的所述超分辨图像的用户输入而存储所述兴趣区域的所述超分辨率图像的装置。
CN201480033079.6A 2013-06-21 2014-06-20 用于对用户选定的兴趣区域进行超分辨的系统和方法 Active CN105308648B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361838144P 2013-06-21 2013-06-21
US61/838,144 2013-06-21
US14/309,551 US9635246B2 (en) 2013-06-21 2014-06-19 Systems and methods to super resolve a user-selected region of interest
US14/309,551 2014-06-19
PCT/US2014/043472 WO2014205384A1 (en) 2013-06-21 2014-06-20 Systems and methods to super resolve a user-selected region of interest

Publications (2)

Publication Number Publication Date
CN105308648A true CN105308648A (zh) 2016-02-03
CN105308648B CN105308648B (zh) 2019-05-31

Family

ID=51300809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480033079.6A Active CN105308648B (zh) 2013-06-21 2014-06-20 用于对用户选定的兴趣区域进行超分辨的系统和方法

Country Status (7)

Country Link
US (1) US9635246B2 (zh)
EP (2) EP4064175A1 (zh)
JP (1) JP6297682B2 (zh)
KR (1) KR20160021813A (zh)
CN (1) CN105308648B (zh)
ES (1) ES2914037T3 (zh)
WO (1) WO2014205384A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105827866A (zh) * 2016-05-18 2016-08-03 努比亚技术有限公司 一种移动终端及控制方法
CN106101545A (zh) * 2016-06-30 2016-11-09 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107950017A (zh) * 2016-06-15 2018-04-20 索尼公司 图像处理设备、图像处理方法以及摄像设备
CN112348861A (zh) * 2020-11-02 2021-02-09 上海联影医疗科技股份有限公司 图像处理方法、装置、设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150172550A1 (en) * 2013-12-16 2015-06-18 Motorola Mobility Llc Display tiling for enhanced view modes
US9667880B2 (en) 2014-08-22 2017-05-30 Qualcomm Incorporated Activating flash for capturing images with text
JP6459814B2 (ja) * 2015-07-17 2019-01-30 スター精密株式会社 プリンタの設定状態更新システム
WO2018047035A1 (en) 2016-09-12 2018-03-15 Semiconductor Energy Laboratory Co., Ltd. Memory device, driving method thereof, semiconductor device, electronic component, and electronic device
CN110771277B (zh) * 2017-06-21 2021-06-01 株式会社富士 对基板作业装置
US10643307B2 (en) * 2017-11-10 2020-05-05 Intel Corporation Super-resolution based foveated rendering
KR102340942B1 (ko) * 2017-11-17 2021-12-17 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시장치
US10740881B2 (en) * 2018-03-26 2020-08-11 Adobe Inc. Deep patch feature prediction for image inpainting
US11611697B2 (en) * 2018-08-08 2023-03-21 Google Llc Optical image stabilization movement to create a super-resolution image of a scene
JP2021192471A (ja) * 2018-09-14 2021-12-16 ソニーグループ株式会社 表示制御装置および表示制御方法、並びにプログラム
US11082620B2 (en) 2018-09-26 2021-08-03 Qualcomm Incorporated Zoomed in region of interest
CN111062269B (zh) * 2019-11-25 2021-09-07 珠海格力电器股份有限公司 一种用户状态识别方法、装置、存储介质及空调
CN111489293A (zh) * 2020-03-04 2020-08-04 北京思朗科技有限责任公司 图像的超分辨率重建方法及装置
CN112770050B (zh) * 2020-12-31 2023-02-03 Oppo广东移动通信有限公司 视频展示方法及装置、计算机可读介质和电子设备
US20220368829A1 (en) * 2021-05-11 2022-11-17 Samsung Electronics Co., Ltd. Image super-resolution with reference images from one or more cameras
CN113709375B (zh) * 2021-09-06 2023-07-11 维沃移动通信有限公司 一种图像显示方法及其装置、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268684A (zh) * 2003-11-04 2008-09-17 诺基亚有限公司 用于登记与内容创建相关联的实体在场的系统和方法
US20090189900A1 (en) * 2006-10-02 2009-07-30 Eiji Furukawa Image processing apparatus, image processing program, image production method, and recording medium
US20120306768A1 (en) * 2011-06-03 2012-12-06 Microsoft Corporation Motion effect reduction for displays and touch input
CN103052961A (zh) * 2010-08-05 2013-04-17 高通股份有限公司 识别具有相机功能的移动设备捕获的可视媒体内容
CN103988503A (zh) * 2011-12-12 2014-08-13 英特尔公司 使用预捕获图像运动的场景分割

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970199B2 (en) * 2001-10-05 2005-11-29 Eastman Kodak Company Digital camera using exposure information acquired from a scene
US7058239B2 (en) 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
JP2005286472A (ja) 2004-03-29 2005-10-13 Sanyo Electric Co Ltd 画像処理装置および画像処理方法
US7523078B2 (en) 2005-09-30 2009-04-21 Rockwell Scientific Licensing, Llc Bayesian approach for sensor super-resolution
US7956929B2 (en) * 2005-10-31 2011-06-07 Broadcom Corporation Video background subtractor system
DE102006006451A1 (de) 2006-02-10 2007-08-16 Siemens Ag Verfahren zum Betrieb einer Röntgendiagnostikeinrichtung zur Erzeugung hochaufgelöster Subtraktionsangiographie-Bilder
JP2008077501A (ja) * 2006-09-22 2008-04-03 Olympus Corp 画像処理装置及び画像処理制御プログラム
JP2008306651A (ja) * 2007-06-11 2008-12-18 Olympus Corp 撮像システムおよびプログラム
CN100570022C (zh) 2007-07-23 2009-12-16 百奥迈科生物技术有限公司 PCR高通量构建siRNA全位点分子库制备方法
US8200046B2 (en) * 2008-04-11 2012-06-12 Drs Rsta, Inc. Method and system for enhancing short wave infrared images using super resolution (SR) and local area processing (LAP) techniques
US8259208B2 (en) 2008-04-15 2012-09-04 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
EP3876510A1 (en) 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2010015241A (ja) * 2008-07-01 2010-01-21 Hitachi Ltd 超解像撮像装置及び画像処理方法
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8667054B2 (en) * 2010-07-12 2014-03-04 Opus Medicus, Inc. Systems and methods for networked, in-context, composed, high resolution image viewing
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2012185808A (ja) * 2011-02-17 2012-09-27 Panasonic Corp 画像処理装置、画像処理方法、及びコンピュータプログラム、並びに撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268684A (zh) * 2003-11-04 2008-09-17 诺基亚有限公司 用于登记与内容创建相关联的实体在场的系统和方法
US20090189900A1 (en) * 2006-10-02 2009-07-30 Eiji Furukawa Image processing apparatus, image processing program, image production method, and recording medium
CN103052961A (zh) * 2010-08-05 2013-04-17 高通股份有限公司 识别具有相机功能的移动设备捕获的可视媒体内容
US20120306768A1 (en) * 2011-06-03 2012-12-06 Microsoft Corporation Motion effect reduction for displays and touch input
CN103988503A (zh) * 2011-12-12 2014-08-13 英特尔公司 使用预捕获图像运动的场景分割

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOURNAL OF COMMUNICATIONS: "An Integrated Interpolation-based Super Resolution Reconstruction Algorithm for Video Surveillance", 《JOURNAL OF COMMUNICATIONS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105827866A (zh) * 2016-05-18 2016-08-03 努比亚技术有限公司 一种移动终端及控制方法
CN107950017A (zh) * 2016-06-15 2018-04-20 索尼公司 图像处理设备、图像处理方法以及摄像设备
CN106101545A (zh) * 2016-06-30 2016-11-09 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106101545B (zh) * 2016-06-30 2019-10-15 维沃移动通信有限公司 一种图像处理方法及移动终端
CN112348861A (zh) * 2020-11-02 2021-02-09 上海联影医疗科技股份有限公司 图像处理方法、装置、设备及存储介质
CN112348861B (zh) * 2020-11-02 2023-04-28 上海联影医疗科技股份有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3011537B1 (en) 2022-04-27
CN105308648B (zh) 2019-05-31
US20140375865A1 (en) 2014-12-25
ES2914037T3 (es) 2022-06-07
JP6297682B2 (ja) 2018-03-20
EP3011537A1 (en) 2016-04-27
US9635246B2 (en) 2017-04-25
WO2014205384A1 (en) 2014-12-24
JP2016524423A (ja) 2016-08-12
EP4064175A1 (en) 2022-09-28
KR20160021813A (ko) 2016-02-26

Similar Documents

Publication Publication Date Title
CN105308648A (zh) 用于对用户选定的兴趣区域进行超分辨的系统和方法
CN109168026B (zh) 即时视频显示方法、装置、终端设备及存储介质
US9478006B2 (en) Content aware cropping
KR102178892B1 (ko) 정보 제공 방법 및 그 전자 장치
CN104869305B (zh) 处理图像数据的方法及其装置
US8520967B2 (en) Methods and apparatuses for facilitating generation images and editing of multiframe images
US10055813B2 (en) Electronic device and operation method thereof
US20140095659A1 (en) Method and system for transmitting data, and method and electronic device therefor
US9196154B2 (en) Method and electronic device for controlling display device using watermark
KR102013329B1 (ko) 광학식 문자 판독기를 이용한 데이터 처리 방법 및 장치
US20190012347A1 (en) Information processing device, method of processing information, and method of providing information
US11190653B2 (en) Techniques for capturing an image within the context of a document
US20230239546A1 (en) Theme video generation method and apparatus, electronic device, and readable storage medium
CN112308780A (zh) 图像的处理方法、装置、设备及存储介质
CN110442806B (zh) 用于识别图像的方法和装置
CN114125485B (zh) 图像处理方法、装置、设备及介质
JP7259403B2 (ja) 情報処理装置及びプログラム
CN108647097B (zh) 文本图像处理方法、装置、存储介质及终端
CN112052377A (zh) 资源推荐方法、装置、服务器和存储介质
JP6165595B2 (ja) 帳票識別システム
KR102442698B1 (ko) 클라우드 스트리밍 서비스 시스템, os 메시지를 이용한 변화 영역 탐지 기반의 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN112529557A (zh) 支付协作方法、拍摄协作方法及相关设备
JP2023039568A (ja) 帳票作成システムおよびプログラム
CN105787024A (zh) 管理资源的方法和设备
US20130007136A1 (en) Collaborating with resources residing in multiple information devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant