CN102461155B - 在数字变焦摄影期间调整图像锐度 - Google Patents
在数字变焦摄影期间调整图像锐度 Download PDFInfo
- Publication number
- CN102461155B CN102461155B CN201080028186.1A CN201080028186A CN102461155B CN 102461155 B CN102461155 B CN 102461155B CN 201080028186 A CN201080028186 A CN 201080028186A CN 102461155 B CN102461155 B CN 102461155B
- Authority
- CN
- China
- Prior art keywords
- zoom
- digital zoom
- image
- level
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 174
- 230000008569 process Effects 0.000 claims description 160
- 230000006870 function Effects 0.000 claims description 32
- 239000000872 buffer Substances 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 46
- 238000005516 engineering process Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 39
- 238000012546 transfer Methods 0.000 description 36
- 238000009826 distribution Methods 0.000 description 24
- 230000008901 benefit Effects 0.000 description 20
- 238000003860 storage Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
- H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
将不同锐度值指派给不同数字变焦水平,以根据剪裁图像来产生预览图像,其中,剪裁图像的尺寸与不同数字变焦水平相对应。
Description
技术领域
本公开总体涉及数字变焦的技术领域。集成有数字摄像机功能的主机设备可以是独立的数字摄像机或可以具有附加功能。具有数字摄像机功能的移动电子设备是主机设备的示例。
背景技术
集成有数字摄像机功能的主机设备包括具有一个或多个光学元件的装置和图像传感器。如果可以改变光学元件的装置的焦距(通常通过机械装置),则光学变焦能力可用。数字变焦能力是以电子方式实现的,并且在无需改变一个或多个光学元件的装置的焦距的情况下就可用。
这里使用的术语“像素”(“图像元素”的缩写),根据上下文而具有不同含义:图像传感器、显示模块、或者图像的数字表示。在图像的数字表示的上下文中,像素是图像的数字表示的最小元素。
图像传感器将包括像素阵列,该像素阵列包括光敏材料。像素阵列是在水平行和垂直列中布置的非常精细的电子像素的阵列。这种图像传感器(例如,电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器)能够接收并捕获辐射能量,并将辐射能量转换为变为光学图像的视觉表示的电子信号。当将数字摄像机功能被描述为2百万像素、3百万像素或4百万像素时,这是图像传感器的像素阵列的中的像素数目的近似描述。这里所使用的术语“捕获图像”是指从像素阵列读取的图像,不考虑任何边缘或边界像素。例如,2百万像素数字摄像机可以生成1600乘1200像素的捕获图像。
典型地,集成有数字摄像机功能的主机设备包括显示模块,该显示模块用于显示从捕获图像导出的预览图像。查看预览图像可以帮助主机设备的用户使用数字摄像机功能拍摄照片,这是由于预览图像向用户提供了关于数字摄像机“看到”什么的视觉反馈。显示模块包括像素阵列,该像素阵列是在水平行和垂直列中布置的像素的阵列。根据像素阵列的技术,像素可以包括发光材料,或者可以是如在液晶显示器(LCD)技术中那样可控制的,以阻挡光或允许光以不同程度透射。显示模块中的像素阵列的其他技术是本领域公知的。典型地,显示模块中的像素阵列中的像素的数目小于捕获图像中的像素的数目。例如,显示器可以具有320乘240像素。
通过以下操作来实现数字变焦:对图像进行剪裁,以保留图像中与原始图像相同高宽比的中心部分并丢弃图像的其余部分。这里将所保留的部分称作剪裁图像,包括整个图像被保留的情况。在1x的数字变焦水平下,不执行剪裁,而是保留整个图像。因此,剪裁图像与剪裁前的图像相同。在2x的数字变焦水平下,保留图像的大约1/4。在3x的数字变焦水平下,保留图像的大约1/9。
集成有数字摄像机功能的主机设备可以被设计为提供两个或更多个数字变焦水平。主机设备将被设计为使得经由其用户输入组件中的至少一个而提供的输入导致数字变焦从一个所提供数字变焦水平改变为另一个所提供数字变焦水平。随着数字变焦从一个所提供数字变焦水平改变为另一个所提供数字变焦水平,剪裁图像将改变,从而预览图像也将改变。随着数字变焦从一个所提供数字变焦水平改变为另一个所提供数字变焦水平,用户可能感知到突变。
实际上,图像包括由多种来源引起的噪声。图像中的噪声可以作为例如在颜色或灰度上与相邻像素不相关的斑点或像素。以一定的刷新率刷新预览图像,该刷新率可以是固定的或可变的。例如,刷新率可以被设置为在明亮照明条件下每秒15次以及在昏暗照明条件下每秒8次。因此,预览图像中的噪声尤其可以被用户察觉,这是由于噪声从一个预览图像到另一个预览图像而有所不同,即使当预览图像均处于相同的所提供数字变焦水平时也是如此。
发明内容
这里提出了多种用于处理数字变焦的多种技术,这些技术是单独使用或以任何组合方式使用的。在单独使用或以任何组合方式使用时,这些技术可以改进用户在观看由显示模块显示的预览图像时感知的数字变焦的体验。这些技术中的一些技术可以是以仅影响预览图像的方式实现的。这些技术中的其他技术可以是以既影响预览图像又影响能够在存储介质中记录的可记录图像的方式实现的。
第一种技术是调整所提供数字变焦水平的数目。总共从4到7的任何数目的所提供数字变焦水平(例如,5或6个所提供数字变焦水平)可以提供以下二者的竞争考虑之间的合理平衡:改进所提供数字变焦水平之间的转移的平滑度;以及减少从最小所提供数字变焦水平经过所有中间所提供数字变焦水平转移至最大所提供数字变焦水平(或者反之亦然)所需的时间和努力。
第二种技术是逐步数字变焦,其中,经由起始提供数字变焦水平与同起始提供数字变焦水平相邻的结束提供数字变焦水平之间的一个或多个中间变焦水平,实现从起始提供数字变焦水平至结束提供数字变焦水平的改变。这些中间数字变焦水平不是由主机设备提供的所提供数字变焦水平,并且,可记录图像在这些中间数字变焦水平下的产生并未被主机设备允许。然而,产生这些中间数字变焦水平下的预览图像,并且,这些预览图像可用于由显示模块显示。
第三种技术是考虑所提供数字变焦水平的分布。所提供数字变焦水平可以具有相等的变焦因子间距。备选地,所提供数字变焦水平可以是光学均匀的。
第四种技术是调整预览图像的锐度,使得当图像传感器针对不同数字变焦水平产生不同预览图像时,使用图像传感器的预览图像锐度参数的不同值。通过针对较低数字变焦水平使用较低锐度值以及针对较高数字变焦水平使用较高锐度值,可以减小预览图像中的噪声。
附图说明
这里描述的技术是作为示例而非限制地在附图的各个图中示意的,在附图中,相似的参考标记指示对应的、相似的、或类似的元素,并且在附图中:
图1-1是示例独立数字摄像机的前视图;
图1-2是图1-1所示的示例独立数字摄像机的后视图
图2-1是集成有数字摄像机功能的示例移动电子设备的前视图;
图2-2是图2-1所示的示例移动电子设备的后视图;
图3-1是在数字变焦水平1x下操作示例数字摄像机功能时获得的示例捕获图像的示意图;
图3-2是作为图3-1所示的捕获图像的缩小版本的示例预览图像的示意图;
图4-1是在数字变焦水平2x下操作示例数字摄像机功能时获得的示例剪裁图像的示意图;
图4-2是作为图4-1所示的剪裁图像的缩小版本的示例预览图像的示意图;
图5-1是在数字变焦水平3x下操作示例数字摄像机功能时获得的示例剪裁图像的示意图;
图5-2是作为图5-1所示的剪裁图像的缩小版本的示例预览图像的示意图;
图6是在示例主机设备中实现的逐步数字变焦的简化示例方法的流程图示意图;
图7是在包括处理能力的示例图像传感器中实现的逐步数字变焦的简化示例方法的流程图示意图;
图8-1是作为在数字变焦水平1x、1.25x、1.5x、1.75x和2x下操作示例数字摄像机功能时获得的示例剪裁图像的缩小版本的示例预览图像的序列的示意图;
图8-2是作为在数字变焦水平1x和2x下操作示例数字摄像机功能时获得的示例剪裁图像的缩小版本的示例预览图像的序列的示意图;
图9是利用调整后的锐度值的后端加载逐步数字变焦的简化示例方法的流程图示意图;
图10是集成有数字摄像机功能的示例主机设备的简化框图示意图;
图11是示例片上系统图像传感器的简化框图示意图;
图12是示例数字摄像机模块的简化框图示意图;以及
图13是示例显示模块的简化框图示意图。
应当认识到,为了示意的简明和清楚,各个图中所示的元素不必按比例绘制。例如,为了清楚,一些元素的尺寸可能相对于其他元素而夸大。
具体实施方式
在以下具体描述中,阐述了许多具体细节,以提供对技术的透彻理解。例如,以下提供的表中的数值是出于示意的目的给出的。然而,本领域技术人员将理解,可以在没有这些具体细节的情况下实施这里描述的技术。在其他实例中,并未详细描述公知的方法、过程、组件和电路,以便不使对技术的描述模糊。
图1-1是总体标记为100的示例独立数字摄像机的前视图,图1-2是独立数字摄像机100的后视图。独立数字摄像机100的镜头102在图1-1中示出。显示模块104在图1-2中示出。当对独立数字摄像机100进行操作时,由镜头102聚焦的光使得独立数字摄像机100的图像传感器(未示出)捕获图像,并且,从捕获的图像中导出的预览图像由显示模块104显示。
图2-1是集成有数字摄像机功能的示例移动电子设备的前视图。该示例移动电子设备总体标记为200。显示模块204在图2-1中示出。在图2-1中示出了移动电子设备200的各个用户输入组件,包括例如键盘206、轨迹球208、按钮210和麦克风212。如果显示模块204包括触摸屏,那么显示模块204也是用户输入组件。还可以想到其他用户输入组件。在图2-1中示出了移动电子设备200的各个用户输出组件,包括例如扬声器214和显示模块204。还可以想到其他用户输出组件。图2-2是移动电子设备200的后视图。闪光灯216和镜头218在图2-2中示出。当对数字摄像机功能进行操作时,由镜头218聚焦的光使得图像传感器(未示出)捕获图像,并且,与捕获图像相关的预览图像由显示模块204显示。
由于预览图像不一定与剪裁图像相同,因此生成两个图像。图像传感器可以既产生剪裁图像又产生预览图像,在这种情况下,图像传感器能够实现缩放算法。备选地,图像传感器可以产生剪裁图像,主机设备可以通过实现缩放算法,根据剪裁图像来产生预览图像。图像传感器可以由主机设备关于图像传感器是否产生预览图像来配置。在一些实施方式中,剪裁图像由主机设备根据图像传感器的输出来产生。这里将预览图像的尺寸称作显示尺寸。
图3-1是在数字变焦水平1x下操作示例数字摄像机功能时获得的示例捕获图像的示意图。图3-2是作为图3-1所示的捕获图像的缩小版本的示例预览图像的示意图。
图4-1是在数字变焦水平2x下操作示例数字摄像机功能时获得的示例剪裁图像的示意图。图4-1所示的剪裁图像是通过保留图3-1所示的捕获图像的中心部分并丢弃捕获图像的其余部分来产生的。图4-2是作为图4-1所示的剪裁图像的缩小版本的示例预览图像的示意图。
图5-1是在数字变焦水平3x下操作示例数字摄像机功能时获得的示例剪裁图像的示意图。图5-1所示的剪裁图像是通过保留图3-1所示的捕获图像的中心部分并丢弃捕获图像的其余部分来产生的。图5-2是作为图5-1所示的剪裁图像的缩小版本的示例预览图像的示意图。
以下在表1中列出了与1600乘1200像素的捕获图像的数字变焦水平相对应的剪裁图像的数字变焦水平和尺寸的一些示例。
表1
这里提出了多种用于处理数字变焦的改变的技术,这些技术是单独使用或以任何组合方式使用的。在单独使用或以任何组合方式使用时,这些技术可以改进用户在观看由显示模块显示的预览图像时感知的数字变焦的体验。这些技术中的一些技术可以是以仅影响预览图像的方式实现的。这些技术中的其他技术可以是以既影响预览图像又影响能够在存储介质中记录的可记录图像的方式实现的。
技术1:所提供数字变焦水平的数目
尽管图像传感器能够支持最小非零剪裁图像,但是主机设备可能被设计为将所提供数字变焦水平限制为不大于最大所提供数字变焦水平。如果所提供的最大数字变焦水平是捕获图像的尺寸与在显示模块处于全屏模式时的预览图像的尺寸之比,那么当在最大所提供数字变焦水平下操作主机设备时,剪裁图像将与在显示模式处于全屏模式时的预览图像大小相同。例如,如果捕获图像是1600乘1200像素并且处于全屏模式的预览图像是320乘240像素,则如上所定义的最大所提供数字变焦水平是5x。在较低数字变焦水平下,剪裁图像大于在显示模块处于全屏模式时的预览图像,因此,预览图像将是剪裁图像的缩小版本。缩放算法是本领域公知的。
对于给定的最小所提供数字变焦水平(通常1x)和给定的最大所提供数字变焦水平,所提供数字变焦水平的数目N是设计时考虑的因素。在需要经由主机设备的用户输入组件的输入以从一个所提供数字变焦水平转移至相邻所提供数字变焦水平的实施方式中,需要N-1次输入以从最小所提供数字变焦水平经过所有中间所提供数字变焦水平改变为最大所提供数字变焦水平(或者反之亦然)。如果提供了太多数字变焦水平,则主机设备的用户可能在从最小所提供数字变焦水平经过所有中间所提供数字变焦水平改变为最大所提供数字变焦水平(或者反之亦然)时所涉及的时间和努力上感到不快。另一方面,如果提供了太少数字变焦水平,那么随着数字变焦从一个所提供数字变焦水平改变为另一个所提供数字变焦水平,用户可能感知到预览图像中不期望的突变,即使改变至相邻所提供数字变焦水平也是如此。总共从4到7的任何数目的所提供数字变焦水平(例如,5或6个所提供数字变焦水平)可以提供以下二者的竞争考虑之间的合理平衡:改进所提供数字变焦水平之间的转移的平滑度;以及减少从最小所提供数字变焦水平经过所有中间所提供数字变焦水平转移至最大所提供数字变焦水平(或者反之亦然)所需的时间和努力。
这里在所提供数字变焦水平的上下文中使用术语“相邻”来表示在所有所提供数字变焦水平的有序列表中紧接在另一所提供数字变焦水平之前或之后的所提供数字变焦水平。例如,如果所提供数字变焦水平的有序列表是{1x,1.4x,1.8x,2.2x,2.6x,3x},则数字变焦水平1.8x与数字变焦水平1.4x和数字变焦水平2.2x相邻。在另一示例中,如果所提供数字变焦水平的有序列表是{1x,2x,3x,4x,5x},则数字变焦水平1x与数字变焦水平2x相邻,数字变焦水平3x与数字变焦水平2x和数字变焦水平4x相邻,数字变焦水平5x与数字变焦水平4x相邻。
数字变焦受图像传感器的剪裁能力限制
集成有数字摄像机功能的主机设备可以使用其主处理器来处理捕获图像的剪裁,以实现数字变焦。在这些情况下,图像传感器的输出是捕获图像或者捕获图像的未剪裁处理的版本,并且,比捕获图像的尺寸小的任何剪裁图像尺寸可由主机设备实现。
然而,如果在图像传感器中执行剪裁以实现数字变焦,则数字变焦受图像传感器的剪裁能力限制。图像传感器可以支持变焦因子的离散集合,每个所支持的变焦因子与在针对该所支持的变焦因子配置图像传感器时由图像传感器产生的剪裁图像的尺寸相对应,从而,剪裁图像的任何其他尺寸不可由图像传感器实现。此外,处于任何所支持的变焦因子下的剪裁图像的尺寸与捕获图像的尺寸之间的关系可能是复杂的,并将很可能专用于该图像传感器。所支持的变焦因子的集合以及剪裁图像的对应尺寸可以是固定的。备选地,图像传感器的一个或多个可编程参数可以影响所支持的变焦因子的集合、或剪裁图像的对应尺寸、或这两者。主机设备可以对一个或多个可编程参数进行编程。
以下在表2中列出了由示例图像传感器支持的变焦因子的一些示例,该示例图像传感器能够生成1600乘1200像素的捕获图像以及与这些所支持的变焦因子相对应的剪裁图像的尺寸。这些示例被选择为具有与表1中的剪裁图像尺寸最接近的剪裁图像尺寸。
表2
表2还包括根据以下等式计算且四舍五入到小数点后两位的数字变焦水平:
ZoomLevel=Sqrt(AreaOfCapturedImage/AreaofCroppedImage)
主机设备可以给每个所提供数字变焦水平指派标签。这种标签的示例包括在以上表2的最左侧列中。然而,本领域技术人员将认识到,表2中的标签“3x”与数字变焦水平3.02x相对应,而不是与数字变焦水平3x相对应。
在示例图像传感器中,利用变焦因子3.45来支持与数字变焦水平1.99x相对应的804乘602像素的剪裁图像。类似地,在示例图像传感器中,利用变焦因子4.75来支持与数字变焦水平3.99x相对应的402乘300像素的剪裁图像。数字变焦水平和变焦因子在数值上的差异是由于以下事实而引起(即使当由此得到的剪裁图像的尺寸几乎相同时也是如此):捕获图像的尺寸、数字变焦水平和与该数字变焦水平相对应的剪裁图像的尺寸之间的关系不同于捕获图像的尺寸、所指示的变焦因子和与该所支持的变焦因子相对应的剪裁图像的尺寸之间的关系。
此外,由于所支持的变焦因子形成了离散集合,因此,不是所有剪裁图像尺寸都可由图像传感器实现。表2的示例图像传感器无法实现533乘400像素(与数字变焦水平3x相对应)的剪裁图像。该示例中的图像传感器可实现的与533乘400像素最接近的尺寸是530乘396像素,这与数字变焦水平3.02x和所支持的变焦因子4.30相对应。
图4-1所示的剪裁图像和图4-2所示的对应的预览图像可以通过使该示例的图像传感器使用变焦因子3.45来产生。图5-1所示的剪裁图像和图5-2所示的对应的预览图像可以通过使该示例的图像传感器使用变焦因子4.30来产生。
主机设备可以使用变焦转换信息,在其提供的数字变焦水平之一的指示与由其图像传感器支持的变焦因子之间进行转换。继续表2的示例,可以使用包括表2的最左侧列和中间列的变焦转换表。以下如表3所示地重复该变焦转换表。
标签 | 变焦因子 |
1x | 1.00 |
2x | 3.45 |
3x | 4.30 |
4x | 4.70 |
5x | 5.00 |
表3
本领域技术人员将认识到,可以以任何合适的格式而不一定以表格的格式存储变焦转换信息。此外,与特定所支持的变焦因子相对应的所提供变焦水平的指示可以隐含在存储所支持的变焦因子(或其指示)的格式中。
考虑以下示例:其中,数字变焦当前处于指派有标签“2x”的所提供数字变焦水平,主机设备从其用户输入组件中检测到的输入指示指派有标签“3x”的所提供数字变焦水平。主机设备经由图像传感器的命令来控制图像传感器,以将图像传感器从变焦因子3.45调整为变焦因子4.30。如果由图像传感器支持的集合中的变焦因子以0.05的步长递增,则需要17个步长从变焦因子3.45达到变焦因子4.30。例如,如果图像传感器具有可配置参数ZoomJumpSize、将变焦因子增大ZoomJumpSize的命令ZoomJumPIn、以及将变焦因子减小ZoomJumpSize的命令ZoomJumpOut,则主机设备可以将ZoomJumpSize配置为与17个步长相对应的值并向图像传感器发出ZoomJumpIn命令。
技术2:逐步数字变焦
如上所述,集成有数字摄像机功能且提供两个或更多个数字变焦水平的主机设备被设计为使得经由其用户输入组件中的至少一个而提供的输入导致从一个所提供数字变焦水平改变为另一个所提供数字变焦水平。随着数字变焦从一个所提供数字变焦水平改变为另一个所提供数字变焦水平,剪裁图像将改变,从而预览图像也将改变。
利用逐步数字变焦,经由起始提供数字变焦水平与同起始提供数字变焦水平相邻的结束提供数字变焦水平之间的一个或多个中间变焦水平,实现从起始提供数字变焦水平至结束提供数字变焦水平的改变。这些中间数字变焦水平不是由主机设备提供的所提供数字变焦水平,并且,可记录图像在这些中间数字变焦水平下的产生并未被主机设备允许。然而,产生这些中间数字变焦水平下的预览图像,并且,这些预览图像可用于由显示模块显示。
图6是在示例主机设备中实现的逐步数字变焦的简化示例方法的流程图示意图。出于该示意的目的,根据中间数字变焦水平与起始提供数字变焦水平的邻近度来对中间数字变焦水平编索引,而不论起始提供数字变焦水平是高于还是低于结束提供数字变焦水平。在602处,主机设备将计数器设置为1。在604处,主机设备将变焦水平参数设置为由计数器编索引的中间数字变焦水平。在606处,主机设备根据剪裁图像来产生预览图像,其中,剪裁图像的尺寸与变焦水平参数的值相对应。在608处,主机设备控制显示模块显示在606处产生的预览图像。在610处,主机设备检验计数器的值是否等于正整数T,正整数T是起始数字变焦水平与结束提供数字变焦水平之间的中间数字变焦水平的数目。如果不等于,则在612处,主机设备以1递增计数器并从604继续该方法。这样,主机设备迭代经过所有T个中间数字变焦水平。如果计数器的值等于T,则在614处,主机设备将变焦水平参数设置为结束提供数字变焦水平,在616处,主机设备根据剪裁图像来产生预览图像,其中,剪裁图像的尺寸与结束提供变焦水平相对应,并且在618处,主机设备控制显示模块显示在616处产生的预览图像。
主机设备可以通过以下操作来实现逐步数字变焦:控制图像传感器从与起始提供数字变焦水平相对应的起始变焦因子改变为与结束提供数字变焦水平相对应的结束变焦因子,这种改变经由起始变焦因子与结束变焦因子之间的一个或多个中间变焦因子。这些中间变焦因子中的每一个与中间数字变焦水平中相应的一个相对应。
如果图像传感器包括处理能力(例如,图像传感器是片上系统(SOC)图像传感器),则主机设备向图像传感器提供对结束变焦因子的指示可能是足够的,并且图像传感器可以使用其处理能力,通过以下操作来内部实现逐步数字变焦:从起始变焦因子改变为第一中间变焦因子,接着,从第一中间变焦因子改变为下一个中间变焦因子(如果有的话)等等,接着从最后一个中间变焦因子改变为结束变焦因子。在每个中间变焦因子以及结束变焦因子,图像传感器可以产生尺寸与变焦因子相对应的剪裁图像。图像传感器可以由主机设备关于图像传感器是否内部实现逐步数字变焦来配置。
图7是在包括处理能力的示例图像传感器中实现的逐步数字变焦的简化示例方法的流程图示意图。在702处,图像传感器接收对所请求的变焦因子的指示,例如通过将该指示写入到图像传感器的控制寄存器。在704处,图像传感器检验所请求的变焦因子是否等于在图像传感器中实现的当前变焦因子。如果等于,则该方法结束。如果不等于,则在706处,图像传感器确定当前变焦因子与所请求的变焦因子之间的正整数T个中间变焦因子。将中间变焦因子从1至T编索引,其中,最低中间变焦因子被编索引为1,最高中间变焦因子被编索引为T。在708处,图像传感器检验所请求的变焦因子是否大于当前变焦因子。如果大于,则在710处,图像传感器确定变焦是放大并将计数器设置为1。如果不大于,则在712处,图像传感器确定变焦是缩小并将计数器设置为T。从710或712,该方法继续至714,在714处,图像传感器将变焦因子参数设置为由计数器编索引的中间变焦因子。在716处,图像传感器产生剪裁图像,其中,剪裁图像的尺寸与变焦因子参数的值相对应。在718处,图像传感器检验计数器的值是否等于T(代表放大)或1(代表缩小)。如果不等于,则在720处,图像传感器针对放大以1递增计数器或针对缩小以1递减计数器,并且该方法从714继续。如果等于,则在722处,图像传感器产生剪裁图像,其中,剪裁图像的尺寸与所请求的变焦因子相对应,在724处,图像传感器将当前变焦因子设置为所请求的变焦因子,并且该方法结束。
令X-1表示起始变焦因子与结束变焦因子之间的所支持的变焦因子的数目。那么,需要X个步长从起始变焦因子达到结束变焦因子,其中,每个步长是从由图像传感器支持的离散集合中的变焦因子到该离散集合中的下一个变焦因子。如果所支持的变焦因子具有大小为increment的固定增量,则X=|(EndZoomFactor-StartZoomFactor)|/increment。
令正整数T表示起始变焦因子与结束变焦因子之间的中间变焦因子的数目;那么,从起始变焦因子经过T个中间变焦因子到结束变焦因子存在T+1个转移。从起始变焦因子至结束变焦因子的X个步长分布在T+1个转移之间。在以下描述的版本1中,步长被分布为在转移之间实现数字变焦水平的近似均匀分布。在以下描述的版本2中,步长被分布为在转移之间实现步长的近似均匀分布。然而,还可以想到其他版本,其中,以任何期望的方式将步长分布在转移之间。
在一个实施方式中,针对所有相邻所提供数字变焦水平对,使用中间变焦因子。可以针对所有相邻所提供数字变焦水平对,使用相同数目的中间变焦因子。备选地,针对一对相邻所提供数字变焦水平使用的中间变焦因子的数目可以不同于针对另一对相邻所提供数字变焦水平使用的中间变焦因子的数目。以下的表10和11提供了针对所有相邻所提供数字变焦水平对使用相同数目的中间变焦因子的示例。
在另一实施方式中,针对至少一对相邻所提供数字变焦水平使用中间变焦因子,而针对至少另一对相邻所提供数字变焦水平不使用中间变焦因子。以下的表5提供了针对一些对相邻所提供数字变焦水平使用中间变焦因子而针对至少另一对相邻所提供数字变焦水平不使用中间变焦因子的示例。如果针对两对或更多对相邻所提供数字变焦水平使用中间变焦因子,则可以针对这些对相邻所提供数字变焦水平使用相同数目的中间变焦因子。备选地,针对这些对相邻所提供数字变焦水平中的一对使用的中间变焦因子的数目可以不同于针对这些对相邻所提供数字变焦水平中的另一对使用的中间变焦因子的数目。
如上所述,图像传感器可以既产生剪裁图像又产生预览图像,在这种情况下,图像传感器能够实现缩放算法。备选地,图像传感器可以产生剪裁图像,主机设备可以通过实现缩放算法,根据剪裁图像来产生预览图像。图像传感器可以由主机设备关于图像传感器是否产生预览图像来配置。在一些实施方式中,剪裁图像由主机设备根据图像传感器的输出来产生。
这里描述的逐步数字变焦的使用可以被实现为仅影响预览图像。在这种实施方式中,记录在存储介质中的可记录图像可以不受任何中间变焦因子影响。可记录图像的产生可以被主机设备延迟,直到图像传感器完成对与所提供数字变焦水平相对应的变焦因子的改变为止。
与在相邻所提供数字变焦水平之间直接变焦相比,这里描述的逐步数字变焦的使用可以在相邻所提供数字变焦水平之间进行改变时提供由观看预览图像的用户感知的更平滑的变焦体验。这里描述的逐步数字变焦的使用可以提供与在使用光学变焦时体验的视觉效果类似的视觉效果。光学变焦一般涉及光学元件的机械运动,并且,这里使用的逐步数字变焦的使用可以向观看预览图像的用户提供对改变的“机械”印象。考虑以下情形:从一个所提供数字变焦水平到另一个所提供数字变焦水平的改变是通过用户输入组件(如轨迹球)进行的输入的结果。随着用户将轨迹球从第一位置滚动到第二位置,主机设备将该滚动解释为针对从当前所提供数字变焦水平(与第一位置相对应)到相邻所提供数字变焦水平(与第二位置相对应)的改变的请求。通过在中间数字变焦水平下产生预览图像,用户可以体验到这些预览图像对应于第一位置与第二位置中间的位置,从而造成机械印象。
版本1:逐步数字变焦水平
利用逐步数字变焦水平,将T个中间数字变焦水平选择为大体均匀地分布在起始提供数字变焦水平与结束提供数字变焦水平之间。换言之,从起始提供数字变焦水平至结束提供数字变焦水平在数字变焦水平上的绝对差值除以T+1近似等于由起始提供数字变焦水平、T个中间数字变焦水平和结束提供数字变焦水平构成的集合中的任何对相邻数字变焦水平在数字变焦水平上的绝对差值。例如,如果起始提供数字变焦水平是1.00x,结束提供数字变焦水平是1.99x,T等于3,那么中间数字变焦水平是1.25x、1.50x和1.75x。
然后,对由图像传感器支持且提供与中间数字变焦水平最接近的剪裁图像尺寸的中间变焦因子进行标识。例如,如下表4所示,所支持的变焦因子2.00得到针对数字变焦水平1.26x的剪裁图像尺寸,所支持的变焦因子2.60得到针对数字变焦水平1.49x的剪裁图像尺寸,所支持的变焦因子3.10得到针对数字变焦水平1.75x的剪裁图像尺寸。
表4
在表4中列出了可选的中间标签1.25x、1.50x和1.75x。尽管主机设备可能被设计为不允许用户在选择所提供数字变焦水平时选择中间标签,但是主机设备可以将中间标签与作为由图像传感器在与该中间标签相对应的所支持的变焦因子下产生的剪裁图像的缩小版本的预览图像一起显示。
从起始变焦因子至结束变焦因子的步长分布在T+1个转移之间,以在这些转移之间实现数字变焦水平的近似均匀分布。
考虑以下示例:其中,数字变焦当前处于指派有标签“1.00x”的所提供数字变焦水平1.00x,主机设备从其用户输入组件中检测到的输入指示指派有标签“2.00x”的所提供数字变焦水平1.99x。主机设备可以经由图像传感器的命令来控制图像传感器,以将图像传感器从变焦因子1.00经由中间变焦因子2.00、2.60和3.10调整为变焦因子3.45。如果由图像传感器支持的集合中的变焦因子以0.05的步长递增,则需要49个步长从变焦因子1.00达到变焦因子3.45。例如,主机设备可以将ZoomJumpSize配置为与20个步长相对应的值并向图像传感器发出ZoomJumpIn命令。一旦图像传感器已完成改变至变焦因子2.00,主机设备就可以将ZoomJumpSize配置为与12个步长相对应的值并向图像传感器发出ZoomJumpIn命令。一旦图像传感器已完成改变至变焦因子2.60,主机设备就可以将ZoomJumpSize配置为与10个步长相对应的值并向图像传感器发出ZoomJumpIn命令。一旦图像传感器已完成改变至变焦因子3.10,主机设备就可以将ZoomJumpSize配置为与7个步长相对应的值并向图像传感器发出ZoomJumpIn命令。
图8-1是作为在数字变焦水平1x、1.25x、1.5x、1.75x和2x下操作示例数字摄像机功能时获得的示例剪裁图像的缩小版本的示例预览图像的序列的示意图。图8-2是作为在数字变焦水平1x和2x下操作示例数字摄像机功能时获得的示例剪裁图像的缩小版本的示例预览图像的序列的示意图。明显地,与查看图8-2所示的预览图像的序列的用户相比,查看图8-1所示的预览图像的序列的用户将感知到从数字变焦水平1x至数字变焦水平2x的更平滑变焦。
版本2:逐步变焦因子
利用逐步变焦因子,将T个中间变焦因子选择为大体均匀地分布在起始变焦因子(与起始提供数字变焦水平相对应)与结束变焦因子(与第二所提供数字变焦水平相对应)之间。例如,如果起始变焦因子是4.30,结束变焦因子是4.70,T等于1,那么中间变焦因子是4.50。
如果由图像传感器支持的集合中的变焦因子以0.05的步长递增,则需要49个步长从变焦因子1.00达到变焦因子3.45。如果T等于2,则可以将这49个步长分布为16+16+17,使得中间变焦因子是1.80和2.60。备选地,可以将这49个步长分布为17+16+16或16+17+16,这两种分布将得到针对中间变焦因子的不同选择。
在下表5中示出了示例中间变焦因子,其中,对于相邻所提供数字变焦水平对(1x,1.99x),T等于2;对于相邻所提供数字变焦水平对(1.99x,3.02x)和(3.02x,3.99x),T等于1;以及对于相邻所提供数字变焦水平对(3.99x,5x),T等于0。
表5
在表5中列出了可选的中间标签1.33x、1.67x、2.5x和3.5x。尽管主机设备可能被设计为不允许用户在选择所提供数字变焦水平时选择中间标签,但是主机设备可以将中间标签与作为由图像传感器在与该中间标签相对应的所支持的变焦因子下产生的剪裁图像的缩小版本的预览图像一起显示。
从起始变焦因子至结束变焦因子的步长分布在T+1个转移之间,以在这些转移之间实现步长的近似均匀分布。
考虑以下示例:其中,数字变焦当前处于指派有标签“2x”的所提供数字变焦水平1.99x,主机设备从其用户输入组件中检测到的输入指示指派有标签“3x”的所提供数字变焦水平3.02x。主机设备可以经由图像传感器的命令来控制图像传感器,以将图像传感器从变焦因子3.45经由中间变焦因子调整为变焦因子4.30。如果由图像传感器支持的集合中的变焦因子以0.05的步长递增,则需要17个步长从变焦因子3.45达到变焦因子4.30。例如,主机设备可以将ZoomJumpSize配置为与8个步长相对应的值并向图像传感器发出ZoomJumpIn命令。一旦图像传感器已完成改变至变焦因子3.85,主机设备就可以将ZoomJumpSize配置为与9个步长相对应的值并向图像传感器发出ZoomJumpIn命令。
对版本2的附加考虑:步长的分布
当所支持的变焦因子的集合具有增量0.05时,从变焦因子1.00至变焦因子3.45的步长的数目是49。如上所述,如果T等于2,则可以将这49个步长大体均匀地分布为16+16+17、17+16+16或16+17+16。如果在变焦因子的改变的起始处使用最大步长数,则步长的分布被称作“前端加载”。如果在变焦因子的改变的结束处使用最大步长数,则步长的分布被称作“后端加载”。
例如,从变焦因子1.00至变焦因子3.45的改变的前端加载分布是17+16+16并且通过从加载因子1.00转移至加载因子1.85、至加载因子2.65、至加载因子3.45而实现。类似地,从变焦因子3.45至变焦因子1.00的改变的前端加载分布是17+16+16并且通过从加载因子3.45转移至加载因子2.60、至加载因子1.80、至加载因子1.00而实现。在另一示例中,从变焦因子1.00至变焦因子3.45的改变的后端加载分布是16+16+17,并且通过从变焦因子1.00转移至变焦因子1.80、至变焦因子2.60、至变焦因子3.45而实现。类似地,从变焦因子3.45至变焦因子1.00的改变的后端加载分布是16+16+17,并且通过从变焦因子3.45转移至变焦因子2.65、至变焦因子1.85、至变焦因子1.00而实现。
主机设备或者能够内部实现逐步数字变焦的图像传感器可以被配置或设计为在步长的完美均匀分布不可能时仅使用步长的后端加载分布。如果步长的完美均匀分布不可能,则针对逐步数字放大(数字变焦水平增大)使用的中间变焦因子将与针对逐步缩小(数字变焦水平减小)使用的中间变焦因子不同。
主机设备或者能够内部实现逐步数字变焦的图像传感器可以被配置或设计为在步长的完美均匀分布不可能时仅使用步长的前端加载分布。如果步长的完美均匀分布不可能,则针对逐步数字放大(数字变焦水平增大)使用的中间变焦因子将与针对逐步缩小(数字变焦水平减小)使用的中间变焦因子不同。
在以上描述中,使用了术语“大体均匀”来描述步长在T+1个转移之间的分布。23个步长在3个转移之间的后端加载分布包括7+7+9和7+8+8,如这里所使用,这两个分布均被视为“大体上均匀”地分布。类似地,32个步长在3个转移之间的前端加载分布包括12+10+10和11+11+10,如这里所使用,这两个分布均被视为“大体上均匀”地分布。然而,23个分布在3个转移之间的6+7+10分布不被视为大体上均匀地分布,这是由于6小于23除以3,忽略除法的余数。一般地,如果分布中的任何数目小于X/(T+1)的商,则X个步长在T+1个转移之间的任何分布不被视为大体均匀地分布。
技术3:所提供数字变焦水平的分布
考虑以上表1中列出的数字变焦水平和剪裁图像尺寸。与集合{1x,2x,3x,4x,5x}中的相邻数字变焦水平对相对应的剪裁图像尺寸的比值实质上彼此不等。数字变焦水平2x下的剪裁图像尺寸是数字变焦水平1x下的剪裁图像尺寸的0.5倍。数字变焦水平3x下的剪裁图像尺寸是数字变焦水平2x下的剪裁图像尺寸的0.67倍。数字变焦水平4x下的剪裁图像尺寸是数字变焦水平3x下的剪裁图像尺寸的0.75倍。数字变焦水平5x下的剪裁图像尺寸是数字变焦水平4x下的剪裁图像尺寸的0.8倍。因此,从数字变焦水平1x至数字变焦水平2x的转移是比从数字变焦水平4x至数字变焦水平5x的转移更大的改变。
版本1:具有相等间距的变焦因子的所提供数字变焦水平
所提供数字变焦水平的集合可以被选择为使得与集合中的任何相邻所提供数字变焦水平对相对应的变焦因子的绝对差值等于与集合中的任何其他相邻所提供数字变焦水平对相对应的变焦因子的绝对差值。在下表6中列出了所提供数字变焦水平的示例集合和与这些数字变焦水平相对应的剪裁图像尺寸。
表6
在该示例中,与任何相邻所提供数字变焦水平对相对应的变焦因子的绝对差值是1.00。然而,还可以想到具有针对与任何相邻所提供数字变焦水平对相对应的变焦因子的绝对差值的其他值的相邻所提供数字变焦水平的集合。
主机设备可以给每个所提供数字变焦水平指派标签。这种标签的示例包括在以上表6的最左侧列中。然而,本领域技术人员将认识到,表6中的标签“3x”与数字变焦水平1.69x相对应,而不与数字变焦水平3x相对应。
所提供数字变焦水平将既影响预览图像又影响可记录图像,这是由于它们影响剪裁图像的尺寸。由于剪裁图像的尺寸的改变更均匀地分散在所提供数字变焦水平之间,因此在所提供数字变焦水平的该集合的情况下从1.00x变焦至5.00x将显得比所提供数字变焦水平的集合{1x,2x,3x,4x,5x}的情况下从1.00x变焦至5.00x更平滑。
还可以想到,满足以下条件的相邻所提供数字变焦水平形成所提供数字变焦水平的全集的子集,该条件是:这些相邻所提供数字变焦水平的任何对以固定的绝对变焦因子差值而不同。并且,全集中的其他所提供数字变焦水平不满足该条件。
版本2:光学均匀的数字变焦水平
如果对于集合中的任何相邻数字变焦水平对,与该对中的较大变焦水平相对应的剪裁图像尺寸同与该对中的较小变焦水平相对应的剪裁图像尺寸之比实质上等于与该集合中的任何其他相邻数字变焦水平对中的较大变焦水平相对应的剪裁图像尺寸同与该其他对中的较小变焦水平相对应的剪裁图像尺寸之比,则数字变焦水平的集合被视为光学均匀的。
在下表7中列出了数字变焦水平的示例光学均匀集合和与这些数字变焦水平相对应的剪裁图像尺寸。
表7
剪裁图像的尺寸满足以下关系:
1600:1070≈1070:716≈716:479≈479:320
1200:802≈802:537≈537:359≈359:240
其中,冒号是用于将比率中的两个数分离开的数学符号,≈是表示“实质上等于”的数学符号。如同稍微更改剪裁图像的尺寸以解决各种实现约束的情况下那样,即使比值不是精确相同的,该集合仍被视为光学均匀的,从而使用上述短语“实质上等于”。
注意,四舍五入到小数点后两位的光学均匀的数字变焦水平的示例集合为{1.00x,1.50x,2.23x,3.34x,5.00x}。如果这是所提供数字变焦水平的集合,则主机设备可以给每个所提供数字变焦水平指派标签。这种标签的示例包括在以上表7的最左侧列中。然而,本领域技术人员将认识到,表7中的标签“3x”与数字变焦水平2.23x相对应,而不与数字变焦水平3x相对应。
更一般而言,利用比率1∶M来实现光学均匀数字变焦水平的集合,其中,乘数M由下式给出:
M=(dim(HighestZoomLevel)/dim(LowestZoomLevel))^(1/(NumberOfZoomLevels-1))
其中,“dim(a)”表示其自变量a的维度,“/”表示除法,“^”表示数学求幂函数。HighestZoomLevel是集合中的最高变焦水平(但不一定是最大所提供变焦水平),LowestZoomLevel是集合中的最低变焦水平(但不一定是最小所提供变焦水平),NumberOfZoomLevels是集合中的变焦水平的数目(但不一定是所提供变焦水平的总数)。换言之,所提供数字变焦水平的全集可以包含光学均匀的子集。备选地,所提供数字变焦水平的全集可以是光学均匀的。
所提供数字变焦水平将既影响预览图像又影响可记录图像,这是由于它们影响剪裁图像的尺寸。在光学均匀的集合或子集中的所提供数字变焦水平之间进行变焦将比在集合{1x,2x,3x,4x,5x}中的数字变焦水平之间进行变焦提供更平滑的变焦体验,并将比在均匀分散在变焦因子空间中的数字变焦水平之间进行变焦提供更平滑的变焦体验。
被调整为满足处理器接口需求的光学均匀的数字变焦水平
集成有数字摄像机功能的主机设备的处理器可以具有特定需求。例如,与处理器的接口可能需要字节对齐。在这种情况下,任何剪裁图像的宽度和高度应当可被4整除。
在下表8中列出了被调整为满足字节对齐需求的、数字变焦水平的示例光学均匀集合和与这些数字变焦水平相对应的剪裁图像尺寸。表8还包括表7的示例标签以及与剪裁图像尺寸相对应的四舍五入到小数点后两位的数字变焦水平。
表8
表8中的一些数字变焦水平与表7中的数字变焦水平稍微不同。该差异是由于剪裁图像尺寸从表7到表8的细微改变而造成的。
针对调整后的光学均匀数字变焦水平的变焦因子
如以上所解释,图像传感器可能能够仅支持变焦因子的离散集合,其中每个变焦因子与剪裁图像的尺寸相对应。如果在图像传感器中执行剪裁以实现数字变焦,则数字变焦受到图像传感器的剪裁能力的限制。
在下表9中列出了由能够生成1600乘1200像素的捕获图像的示例图像传感器所支持的变焦因子和与这些所支持的变焦因子相对应的剪裁图像尺寸的一些示例。选择了这些示例,作为具有最接近于且大于表8中的剪裁图像尺寸的剪裁图像尺寸。表9还包括表7的示例标签以及与剪裁图像尺寸相对应的四舍五入到小数点后两位的数字变焦水平。
表9
表9中的一些数字变焦水平与表8中的数字变焦水平稍微不同。该差异是由于剪裁图像尺寸从表8到表9的细微改变而造成的。
主机设备可以使用变焦转换信息,在其提供的数字变焦水平之一的指示与由其图像传感器支持的变焦因子之间进行转换。继续表9的示例,可以使用包括表9的最左侧列和中间列的变焦转换表。以下如表10所示地重复该变焦转换表。
标签 | 变焦因子 |
1x | 1.00 |
2x | 2.60 |
3x | 3.75 |
4x | 4.45 |
5x | 5.00 |
表10
本领域技术人员将认识到,可以以任何合适的格式而不一定以表格的格式存储变焦转换信息。此外,与特定所支持的变焦因子相对应的所提供变焦水平的指示可以隐含在存储所支持的变焦因子(或其指示)的格式中。
考虑以下示例:其中,数字变焦当前处于指派有标签“4x”的所提供数字变焦水平3.22x,主机设备从其用户输入组件中检测到的输入指示指派有标签“3x”的所提供数字变焦水平2.21x。主机设备经由图像传感器的命令来控制图像传感器,以将图像传感器从变焦因子4.45调整为变焦因子3.75。如果由图像传感器支持的集合中的变焦因子以0.05的步长递增,则需要14个步长从变焦因子4.45达到变焦因子3.75。例如,主机设备可以将ZoomJumpSize配置为与14个步长相对应的值并向图像传感器发出ZoomJumpOut命令。
技术2和3的组合:针对调整后的光学均匀所提供数字变焦水平的逐步变焦因子
在下表11中示出了后端加载的逐步变焦因子的示例实施方式,其中,对于具有以0.05增量递增的所支持的变焦因子的图像传感器,T等于2,该图像传感器能够生成1600乘1200像素的捕获图像,从最小所提供数字变焦水平1.00x至最大所提供数字变焦水平5.00x有五个调整后的光学均匀所提供数字变焦水平。表11用于放大(数字变焦水平增大)操作。
表11
在表11中列出了可选中间标签1.33x、1.67x、2.33x、2.67x、3.33x、3.67x、4.33x和4.67x。尽管主机设备可能被设计为不允许用户在选择所提供数字变焦水平时选择中间标签,但是主机设备可以将中间标签与作为由图像传感器在与该中间标签相对应的所支持的变焦因子下产生的剪裁图像的缩小版本的预览图像一起显示。
以下示出了步长的分布:
1.00→2.60(1.00→1.50→2.00→2.60),32个步长=10+10+12
2.60→3.75(2.60→2.95→3.30→3.75),23个步长=7+7+9
3.75→4.45(3.75→3.95→4.15→4.45),14个步长=4+4+6
4.45→5.00(4.45→4.60→4.75→5.00),11个步长=3+3+5
考虑以下示例:其中,数字变焦当前处于指派有标签“2x”的所提供数字变焦水平1.49x,主机设备从其用户输入组件中检测到的输入指示指派有标签“3x”的所提供数字变焦水平2.21x。主机设备经由图像传感器的命令来控制图像传感器,以将图像传感器从变焦因子2.60经由中间变焦因子2.95和3.30调整为变焦因子3.75。例如,如果由图像传感器支持的集合中的变焦因子以0.05的步长递增,则主机设备可以将ZoomJumpSize配置为与7个步长相对应的值并向图像传感器发出ZoomJumpIn命令。一旦图像传感器已完成改变至变焦因子2.95,主机设备就可以将ZoomJumpSize配置为与7个步长相对应的值并向图像传感器发出ZoomJumpIn命令。一旦图像传感器已完成向变焦因子3.30的改变,主机设备就可以将ZoomJumpSize配置为与9个步长相对应的值并向图像传感器发出ZoomJumpIn命令。
在下表12中示出了后端加载的逐步变焦因子的示例实施方式,其中,对于具有以0.05增量递增的所支持的变焦因子的图像传感器,T等于2,该图像传感器能够生成1600乘1200像素的捕获图像,从最小所提供数字变焦水平1.00x至最大所提供数字变焦水平5.00x有五个调整后的光学均匀所提供数字变焦水平。表12用于缩小(数字变焦水平减小)操作。
表12
在表12中列出了可选中间标签1.33x、1.67x、2.33x、2.67x、3.33x、3.67x、4.33x和4.67x。尽管主机设备可能被设计为不允许用户在选择所提供数字变焦水平时选择中间标签,但是主机设备可以将中间标签与作为由图像传感器在与该中间标签相对应的所支持的变焦因子下产生的剪裁图像的缩小版本的预览图像一起显示。
以下示出了步长的分布:
5.00→4.45(5.00→4.85→4.70→4.45),11个步长=3+3+5
4.45→3.75(4.45→4.25→4.05→3.75),14个步长=4+4+6
3.75→2.60(3.75→3.40→3.05→2.60),23个步长=7+7+9
2.60→1.00(2.60→2.10→1.60→1.00),32个步长=10+10+12
考虑以下示例:其中,数字变焦当前处于指派有标签“5x”的所提供数字变焦水平5.00x,主机设备从其用户输入组件中检测到的输入指示指派有标签“4x”的所提供数字变焦水平3.22x。从图像传感器的角度来看,这确实是从变焦因子5.00至变焦因子4.45的改变。主机设备经由图像传感器的命令来控制图像传感器,以将图像传感器从变焦因子5.00经由中间变焦因子4.85和4.70调整为变焦因子4.45。例如,主机设备可以将ZoomJumpSize配置为与3个步长相对应的值并向图像传感器发出ZoomJumpOut命令。一旦图像传感器已完成向变焦因子4.85的改变,主机设备可以向图像传感器发出ZoomJumpOut命令。一旦图像传感器已完成向变焦因子4.70的改变,主机设备可以将ZoomJumpSize配置为与5个步长相对应的值并向图像传感器发出ZoomJumpOut命令。
技术2和3的其他组合对于本领域技术人员来说是明显的。例如,可以将技术2的版本1与光学均匀所提供数字变焦水平进行组合。在另一示例中,光学均匀所提供数字变焦水平的集合可以是光学均匀数字变焦水平的更大集合的子集,并且,逐步变焦使用来自该更大集合当中的中间变焦水平。在另一示例中,可以将光学均匀所提供数字变焦水平的集合与逐步变焦技术进行组合,使得中间变焦因子实现从一个所提供数字变焦水平至相邻所提供数字变焦水平的光学均匀转移。
技术4:锐度的调整
如上所述,图像传感器可以既产生剪裁图像又产生预览图像,在这种情况下,图像传感器能够实现缩放算法。图像传感器可以产生与可记录图像分离的预览图像。图像传感器可能能够与设置可记录图像的锐度无关地设置预览图像的锐度,例如经由预览图像锐度参数来设置预览图像的锐度。图像传感器通过处理捕获图像,以由预览图像锐度参数的值确定的锐度产生预览图像。该处理可以在任何剪裁之前、期间或之后进行,但必须在任何缩放之前进行。
图像的锐度可以被理解为与在图像中感知到的细节、噪声和对比度的量相关。较高锐度的图像将比较低锐度的图像具有更高对比度、更详细特征和更多噪声(尤其是在颜色改变的边缘处)。较低锐度的图像将比较高锐度的图像显得更柔和。
对锐度的定量度量也是本领域公知的。可以针对数字图像创建边缘轮廓(edge profile),例如,作为针对数字图像中存在从暗像素区至亮像素区的转移(或者从亮像素区至暗像素区的转移)的任何部分的、距离(以像素为单位测量)相对于像素值(亮或明亮为较高,暗为较低)的曲线图的平均值。定量度量“10%至90%”测量在一定距离内需要多少像素以从像素值的10%改变为像素值的90%。斜率越陡(从而度量越小),则该部分中的数字图像越锐利。本领域技术人员将认识到,类似的定量度量(例如,“0至100%”或“20%至80%”)可以用作对锐度的定量度量以代替“10%至90%”。
边缘轮廓可以包括谷(通常称为“下冲”)或峰(通常称为“过冲”)或者这两者。如果边缘包括像素值比暗像素区的像素值低的像素,则将观察到下冲。如果边缘包括像素值比亮像素区的像素值高的像素,则将观察到过冲。下冲和过冲是通常在已经将锐度增强功能应用于数字图像的情况下观察到的副效应。太多的下冲或太多的过冲会造成本领域公知为“光晕”的不好的影响。
本领域技术人员将认识到,特定的锐度参数值将由不同图像传感器以不同方式解释。然而,增大图像传感器中的锐度参数的值将增大由图像传感器产生的图像的锐度,而减小锐度参数的值将减小由图像传感器产生的图像的锐度。
主机设备可以控制图像传感器以最高锐度产生可记录图像,使得捕获图像中的细节不会丢失。当数字变焦处于最小所提供数字变焦水平时,预览图像时捕获图像的缩小版本。利用由图像传感器实现的缩放算法的效果来减小捕获图像的不完美。另一方面,当数字变焦处于最大所提供数字变焦水平时,预览图像可以在大小上与剪裁图像相同或接近。
实际上,图像包括由多种来源引起的噪声。图像中的噪声可以作为例如在颜色或灰度上与其相邻像素不相关的斑点或像素。以一定的刷新率刷新预览图像,该刷新率可以是固定的或可变的。例如,刷新率可以被设置为在明亮照明条件下每秒15次以及在昏暗照明条件下每秒8次。因此,预览图像中的噪声尤其可以被用户察觉,这是由于噪声从一个预览图像到另一个预览图像而有所不同,即使当预览图像均处于相同的所提供数字变焦水平时也是如此。如上所述,图像的锐度越高,图像中的噪声越多。
为了减少预览图像中的噪声,主机设备可以将针对预览图像的产生的不同锐度值与不同的所提供数字变焦水平相关联,使得最低锐度值与最小所提供数字变焦水平相关联,越来越高的锐度值与越来越大的所提供数字变焦水平相关联,最高锐度值与最大所提供数字变焦水平相关联。例如,重复表9形成表13,其中,在最右侧列中添加了预览图像的示例关联锐度值。
表13
技术2+技术4的组合:逐步变焦期间的锐度调整
当使用逐步数字变焦时,随着主机设备控制图像传感器变焦至不同中间变焦因子,主机设备可以调整图像传感器的针对预览图像的产生的锐度值。例如,以下如表14所示重复表11的一部分,其中,在最右侧列中添加了预览图像的示例锐度值。
表14
备选地,当在从第一所提供数字变焦水平至第二所提供数字变焦水平的改变中使用逐步数字变焦时,主机设备可以在改变至中间变焦因子时使用与第一所提供数字变焦水平相关联的锐度值或与第二所提供数字变焦水平相关联的锐度值
当利用逐步数字变焦进行放大时,主机设备可以针对中间变焦因子使用与较低所提供数字变焦水平相关联的锐度值,并且仅在向较高所提供数字变焦水平的最终转移中改变为与较高所提供数字变焦水平相关联的锐度值。在逐步放大期间保留较低锐度值可以减少预览图像中的噪声。例如,以下如表15所示重复表11的一部分,其中,在最右侧列中添加了预览图像的示例锐度值。
表15
注意,随着控制图像传感器从变焦因子3.75(与指派有标签“3.00x”的所提供数字变焦水平2.21x相对应)经由中间变焦因子3.95和4.15改变至变焦因子4.45(与指派有标签“4.00x”的所提供数字变焦水平3.22x相对应),主机设备针对中间变焦因子将锐度值设置在较低锐度值4,并且仅针对从中间变焦因子4.15至变焦因子4.45的转移将锐度值改变为较高锐度值7。类似地,随着控制图像传感器从变焦因子4.45经由中间变焦因子4.60和4.75改变至变焦因子5.00(与指派有标签“5.00x”的所提供数字变焦水平5.00x相对应),主机设备针对中间变焦因子将锐度值设置在较低锐度值7,并且仅针对从中间变焦因子4.75至变焦因子5.00的转移将锐度值改变为更高锐度值26。
当利用逐步数字变焦进行缩小时,主机设备可以针对从较高所提供数字变焦水平经由中间变焦因子至较低所提供数字变焦水平的所有转移使用与较低所提供数字变焦水平相关联的锐度值。在逐步缩小期间使用较低锐度值可以减少预览图像中的噪声。例如,以下如表16所示重复表12的一部分,其中,在最右侧列中添加了预览图像的示例锐度值。
表16
注意,随着控制图像传感器从变焦因子5.00经由中间变焦因子4.85和4.70改变至变焦因子4.45,主机设备在开始逐步缩小之前将锐度值设置在较低锐度值7。类似地,随着控制图像传感器从变焦因子4.45经由中间变焦因子4.25和4.05改变至变焦因子3.75,主机设备在开始逐步缩小之前将锐度值设置在较低锐度值4。
技术2+3+4的组合:在调整后的光学均匀所提供数字变焦水平之间利用后端加载逐步变焦因子对锐度的调整
由于表14和15基于表10和11,因此表14和15实际上表示在调整后的光学均匀所提供数字变焦水平之间利用后端加载逐步变焦因子对锐度的调整。
图9是利用调整后的锐度值在光学均匀数字变焦水平之间的逐步变焦的简化示例方法的流程图示意图。
在902处,主机设备接收对所请求的所提供数字变焦水平的指示,例如通过由主机设备的用户输入组件检测该指示。在904处,主机设备检验该指示是否有效。例如,如果该指示使得所请求的所提供数字变焦水平小于最小所提供数字变焦水平或超过最大所提供数字变焦水平,则该指示无效。在另一示例中,如果该指示针对的是未提供的数字变焦水平,则该指示无效。如果该指示无效,则在906处,主机设备将“无效请求”返回至摄像机应用。
如果该指示有效,则在908处,主机设备检验主机设备所操作于的当前所提供数字变焦水平是否等于所请求的所提供数字变焦水平。如果等于,则在910处,主机设备将“成功”返回至摄像机应用。
如果不等于,则在912处,主机设备使用该变焦转换信息,将对所请求的所提供数字变焦水平的指示转换为由主机设备的图像传感器支持的所请求的变焦因子。
在914处,主机设备检验所请求的变焦因子是否大于主机设备的图像传感器所操作于的当前变焦因子。如果大于,则在916处,主机设备将“命令”参数设置为“放大”,而如果不大于,则在918处,主机设备将“命令”参数设置为“缩小”。假定由主机设备的图像传感器支持的离散变焦因子的集合具有大小为“增量”的固定增量,那么主机设备在920处计算从当前变焦因子至所请求的变焦因子的步长的正数X,其中,“|a|”是自变量a的绝对值。假定在主机设备中利用任何相邻所提供数字变焦水平对之间的固定正数T个中间变焦水平(以及从而T个中间变焦因子)来实现逐步变焦,那么在922处,主机设备获取值T。
在924处,主机设备将参数“转移”设置为T+1,从而经由T个中间变焦因子执行从当前变焦因子至所请求的变焦因子的跳转。
在926处,在缩小的情况下,主机设备调整锐度值。
在928处,主机设备将计数器设置为值0。在930处,主机设备检验计数器的值是否小于参数“转移”的值。如果小于,则在932处,主机设备检验计数器的值是否等于参数“转移”的值减1。如果等于,则在934处,主机设备将参数Jump_Size设置为等于商X/转移。这确保了转移之间的步长分布是后端加载的。
在936处,主机设备控制其图像传感器利用参数Jump_Size的值的跳转来执行由“命令”参数指示的命令。在938处,主机设备以1递增计数器的值,并且该方法继续至930。
如果在932处,计数器的值不等于参数“转移”的值减1,则在940处,主机设备将参数Jump_Size设置为等于商X/转移加上X除以转移的余数,并且该方法继续至936。
如果在930处,计数器的值不小于参数“转移”的值,则向所请求的所提供数字变焦水平的转移已经完成。在942处,在缩小的情况下,主机设备调整锐度值。在944处,主机设备将当前变焦因子和当前所提供数字变焦水平分别更新为所请求的变焦因子和所请求的所提供数字变焦水平,并且在948处,主机设备将“成功”返回至摄像机应用。
框图
图10是集成有数字摄像机功能的示例主机设备1000的简化框图示意图。独立数字摄像机100和移动电子设备200均为如图10所示的主机设备的示例,并且,还可以想到其他主机设备。主机设备1000可以包括为了清楚而未在图10中示意的组件、元件、电路和/或模块。主机设备1000可以是电池操作的并包括电池接口1002,通过电池接口1002,电池(未示出)可以给主机设备1000的组件供电。
主机设备1000包括具有一个或多个光学元件的装置1004以及与装置1004光学耦合的图像传感器1006。图像传感器1006包括像素阵列1008,像素阵列1008包括光敏材料。图像传感器1006被布置为从像素阵列1008中读取捕获图像。从像素阵列1008中读取的图像的实际大小将取决于像素阵列1008中的像素数目以及对图像传感器1006进行操作的传感器模式。极速扩展图形阵列(UXGA)和超级视频图形阵列(SVGA)是传感器模式的两个示例。如上所述,术语“捕获图像”指代从像素阵列读取的图像,不考虑任何边沿或边界像素。例如,包括尺寸1624乘1216的像素阵列且操作于UXGA模式的图像传感器可以读取1608乘1208像素的图像。沿着图像的每个边缘有四个伪列(dummy column)的边沿,因此,捕获图像的尺寸为1600乘1200像素。
可以将图像传感器1006和装置1004封装在一起,作为数字摄像机模块1010。图像传感器1006的示例的非穷尽列表包括电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。图像传感器1006可以包括处理能力。例如,图像传感器1006可以是片上系统(SOC)图像传感器。备选地,图像传感器1006可能缺少处理能力。
主机设备1000包括与图像传感器1006耦合的传感器1012以及与处理器1012耦合的显示模块1014。显示模块1014中包括的元件的示例的非穷尽列表包括有源矩阵、无源矩阵、薄膜晶体管(TFT)液晶显示器(LCD)、薄膜二极管(TFD)LCD、有机发光二极管(OLED)、电容性触摸屏、电阻性触摸屏、扭曲向列(TN)显示器、超级扭曲向列(STN)显示器、以及以下类型的STN显示器:彩色STN(CSTN)、双层STN(DSTN)、双重扫描STN(DSTN)、快速响应STN(FRSTN)、膜补偿STN(FSTN)、双膜STN(FFSTN)以及单色STN(MSTN)。
主机设备1000包括与处理器1012耦合的存储器1016。存储器1016存储对由主机设备1000提供的数字变焦水平的指示1018。存储器1016包括至少两个缓冲器。缓冲器1020被布置为存储要记录在存储介质中的可记录图像。缓冲器1022被布置为存储要由显示模块1014显示的预览图像。可记录图像和预览图像都是从捕获图像导出的。
要记录缓冲器1020中存储的可记录图像的存储介质可以包括在主机设备1000中,在图10中示意为可选框1024。备选地或附加地,要记录缓冲器1020中存储的可记录图像的存储介质可以处于主机设备1000外部。将图像记录在外部存储介质(未示出)中可以是使用主机设备1000的在图10中示意为可选框1026的接口来实现的。接口1026的示例的非穷尽列表包括射频无线通信接口、有线通信接口、通用串行总线(USB)连接器以及光学接口。
主机设备1000包括与处理器1012耦合的至少一个用户输入组件1028。用户输入组件1028能够检测指示由主机设备1000提供的数字变焦水平之一的输入。用户输入组件1028的示例的非穷尽列表包括轨迹球、拇指轮、按键、按钮、键盘、触摸屏、光学用户输入组件以及音频用户输入组件(如麦克风)。
如上所述,图像传感器1006可能能够仅支持变焦因子的离散集合,其中每一个变焦因子与剪裁图像的尺寸相对应。主机设备1000可以使用存储器1016中存储的变焦转换信息1030,在对其提供的数字变焦水平之一的指示与由图像传感器1006支持的变焦因子之间进行转换。如上所述,主机设备1000可以将针对预览图像的产生的不同锐度值与不同的所提供数字变焦水平相关联。与所提供数字变焦水平相关联的锐度值可以包括在变焦转换信息1030中或包括在存储器1016的其他位置(未示出)处。
存储器1016被布置为存储可由处理器1012执行的代码1032。代码1032可以包括固件或软件或者其任意组合。代码1032可以包括主机设备1000的操作系统以及要在主机设备1000上运行的应用。例如,代码1032可以提供图形用户界面,该图形用户界面使主机设备1000的用户能够选择所提供数字变焦水平之一。经由图形用户界面接收的输入将导致从当前所提供数字变焦水平至所选择的所提供数字变焦水平的改变,即使所选择的所提供数字变焦水平与当前所提供数字变焦水平不相邻也是如此。
存储器1016还被布置为存储数据1034。数据1034中的一些可以用在代码1032的操作中。数据1034中的一些可以由代码1032在被处理器1012执行时产生。存储器1016还可以被布置为存储画面大小设置1036,画面大小设置1036影响可记录图像的大小,如这里所描述。存储器1016可以包括可移除存储器或不可移除存储器或者其任意组合。存储器1016可以包括易失性存储器或非易失性存储器或者其任意组合。存储器1016是物理计算机可读介质的示例。
如上所述,通过以下操作来实现数字变焦:对图像进行剪裁,以保留图像中与原始图像相同高宽比的中心部分并丢弃图像的其余部分。如果在图像传感器1006中实现变焦,则图像传感器1006的输出包括要存储在缓冲器1020中且要记录在存储介质中的剪裁图像。如果变焦由处理器1012实现,则图像传感器1006的输出包括从像素阵列1008中读取的捕获图像或其处理后的版本,并且,由处理器1012从图像传感器1006的输出导出的剪裁图像存储在缓冲器1020中以记录在存储介质中。
如上所述,预览图像不必与剪裁图像相同。如果图像传感器1006既产生剪裁图像又产生预览图像,则图像传感器1006能够实现缩放算法。在这种情况下,图像传感器1006的输出包括要存储在缓冲器1020中且要记录在存储介质中的剪裁图像以及要存储在缓冲器1022中且要由显示模块1014显示的预览图像。如果图像传感器1006产生剪裁图像并且主机设备1006使用处理器1012来产生预览图像,则图像传感器1006不必能够实现缩放算法。如果如上所述,变焦由处理器1012实现,则图像传感器1006不必能够实现缩放算法。
尽管在图10中将显示模块1014示意为包括在主机设备1000中,但是在其他实施方式中,显示模块1014可以处于主机设备1000外部,并且,主机设备1000可以包括接口(未示出),通过该接口,显示模块1014可以从主机设备1000接收输入。
图11是示例片上系统图像传感器1106的简化框图示意图。作为图像传感器1006的示例,图像传感器1106可以包括为了清楚而未在图11中示意的组件、元件、电路和/或模块。作为片上系统图像传感器,图像传感器1106是单个集成电路并必须包括处理器1107。图像传感器1106包括像素阵列1108,像素阵列1108包括光敏材料。图像传感器1106被布置为从像素阵列1108中读取捕获图像。
图像传感器1106包括用于将像素阵列1108的模拟输出转换为数字输出的模数转换器(ADC)1110。图像传感器1110包括与像素阵列1108和处理器1107耦合的数字电路1112。数字电路1112包括直接控制像素阵列1108的操作的数字控制电路,这是由于数字电路1112能够比处理器1107更快地操作。
图像传感器1106包括与处理器1107耦合的存储器1114。处理器1107的固件1116可以存储在存储器1114中。存储器1114包括缓冲器1118,在缓冲器1118中存储ADC 1110的数字输出。
如这里所描述,图像传感器1106的一些实施方式可能能够输出两种不同图像,如剪裁图像和预览图像。至少出于这种原因,图像传感器1106可以包括另一缓冲器,在图11中示意为可选框1120。可以将缓冲器1118的内容的全部或部分拷贝至缓冲器1120,使得图像传感器1106能够与缓冲器1118的内容无关地处理缓冲器1120的内容。
缓冲器1118和可选缓冲器1120的内容可以由固件1116在被处理器1107执行时操作、或由数字电路1112的一个或多个部分操作、或者由这两者操作。例如,固件1116可能能够实现一种或多种缩放算法。在另一示例中,固件1116可以使图像传感器1106能够内部实现逐步数字变焦,如这里所描述。数字电路1112可以具有在其中实现的非控制功能。这种非控制功能的非穷尽列表包括剪裁、变焦、降额、摇拍、颜色格式转换、及其任意组合。在被处理器1007处理时的固件1116以及数字电路1112中的至少一个在缓冲器1118上操作。
图像传感器1106包括用于影响数字电路1112和处理器1107的操作的一个或多个控制寄存器1122。例如,图像传感器1106的任何可编程或可配置参数(如ZoomJumpSize、传感器模式、输出尺寸、预览图像锐度、以及图像传感器1106是否产生预览图像)可以存储在控制寄存器1122中。在另一示例中,可以在控制寄存器1122中存储图像传感器1106是否要内部实现逐步变焦。
图像传感器1106包括:主机接口1124,耦合至存储器1114以使用直接存储存取(DMA)来输出缓冲器1118和可选缓冲器1120的内容,并耦合至一个或多个控制寄存器1122以实现针对一个或多个控制寄存器1122的读取和写入。可选地,主机接口1124可以耦合至处理器1107。
图12是示例数字摄像机模块1210的简化框图示意图。作为数字摄像机模块1010的示例,数字摄像机模块1210可以包括为了清楚而未在图10中示意的组件、元件、电路和/或模块。数字摄像机模块1210包括具有一个或多个光学元件的装置1204。图10的装置1004或图12的装置1204中的光学元件的示例的非穷尽列表包括镜头、准直仪、滤光器和偏振器。数字摄像机模块1210包括处理器1107、像素阵列1108、ADC 1110、数字电路1112、存储器1114、一个或多个控制寄存器1122和主机接口1124,所有这些已参照图11而描述。存储器1114包括缓冲器1118,并且可选地可以包括缓冲器1120。固件1116可以存储在存储器1114中。数字摄像机模块1210可以封闭在外壳(未示出)中,使得一个或多个光学元件的装置1204暴露于或可暴露于(例如通过打开快门(未示出))辐射能量,并且使得主机接口1124可访问。
图13是示例显示模块1314的简化框图示意图。作为显示模块1014的示例,显示模块1314可以包括为了清楚而未在图13中示意的组件、元件、电路和/或模块。显示模块1314包括处理器1307。显示模块1314包括像素阵列1308。根据像素阵列1308的技术,像素可以包括发光材料,或者可以是如在LCD技术中那样可控制的,以阻挡光或允许光以不同程度透射。显示模块中的像素阵列的其他技术是本领域公知的。
显示模块1314包括用于将图像的数字表示转换为像素阵列1308的模拟输入的数模转换器(DAC)1310。显示模块1314包括与像素阵列1308和处理器1307耦合的数字电路1312。数字电路1312直接控制像素阵列1308的操作,这是由于数字电路1312能够比处理器1307更快地操作。
显示模块1314包括与处理器1307耦合的存储器1314。处理器1307的固件1316可以存储在存储器1314中。存储器1314包括缓冲器1318,在缓冲器1318中存储DAC 1310的数字输入。
缓冲器1318的内容可以由固件1316在被处理器1307执行时操作、或由数字电路1312的一个或多个部分操作、或者由这两者操作。
显示模块1314包括用于影响数字电路1312和处理器1307的操作的一个或多个控制寄存器1322。例如,可以在控制寄存器1322中存储显示模块1314是操作于全屏模式还是操作于较小屏幕模式。
显示模块1314包括:主机接口1324,耦合至存储器1314以使用DMA来输入缓冲器1318的内容,并耦合至一个或多个控制寄存器1322以实现针对一个或多个控制寄存器1322的读取和写入。可选地,主机接口1324可以耦合至处理器1307。
可以将图13所示的除像素阵列1308外的元件封装为单个组件,称为显示控制器1326。这样,显示模块1314可以包括像素阵列1308和显示控制器1326。
画面大小
集成有数字摄像机功能的主机设备可以提供不同的画面大小设置,例如“大”、“中”和“小”。在示例2百万像素数字摄像机中,可记录图像的最大画面大小可以是:针对“大”画面大小设置,1600乘1200像素;针对“中”画面大小设置,1024乘768;以及针对“小”画面大小设置,640乘480。可记录图像的大小将取决于捕获图像的大小、剪裁图像的大小、以及经由主机设备的用户输入组件而选择的画面大小设置。这里提供的示例剪裁图像尺寸基于“大”画面大小设置的示例。如何针对其他画面大小设置对尺寸进行修改对于本领域技术人员来说是明显的。
尽管这里示意并描述了该技术的特定特征,但是本领域技术人员现在将想到许多修改、替代、改变和等同替换。因此,应当理解,所附权利要求意在覆盖所有这些修改和改变。
Claims (4)
1.一种主机设备(100、200、1000),包括:
具有一个或多个光学元件的装置(102、218、1004、1204);
图像传感器(1006、1106、1210),包括处理能力(1107),所述图像传感器包括与所述具有一个或多个光学元件的装置光学耦合的像素阵列(1008、1108),所述图像传感器被布置为从所述像素阵列中读取捕获图像,所述图像传感器支持变焦因子的离散集合;
处理器(1012),耦合至所述图像传感器;
显示模块(104、204、1014、1314),耦合至所述处理器;
存储器(1016),耦合至所述处理器,所述存储器被布置为存储对所提供的数字变焦水平的指示(1013),所述所提供的数字变焦水平中的每一个具有与之对应的剪裁图像尺寸,所述存储器还被布置为针对所述所提供的数字变焦水平中的每一个存储对所述变焦因子(1030)中对应的一个变焦因子的指示,所述存储器包括:
第一缓冲器(1020),用于存储从所述捕获图像导出的可记录图像;以及
第二缓冲器(1022),用于存储从所述捕获图像导出的、要由所述显示模块显示的预览图像;以及
用户输入组件(204、206、208、210、212、1028),耦合至所述处理器以检测指示所述所提供的数字变焦水平之一的输入;
其特征在于
所述存储器还被布置为针对所述所提供的数字变焦水平中的每一个存储与之关联的锐度值,使得针对预览图像的产生的不同锐度值与不同的所提供数字变焦水平相关联,使得最低锐度值与最小所提供数字变焦水平相关联,越来越高的锐度值与越来越大的所提供数字变焦水平相关联,最高锐度值与最大所提供数字变焦水平相关联,
其中,所述存储器存储可执行代码装置(1032),所述可执行代码装置(1032)在被所述处理器执行时,响应于检测到所述输入,识别所述所提供的数字变焦水平中的哪一个由所述输入指示,并控制所述图像传感器以与所识别的所提供数字变焦水平相对应的变焦因子并以与所识别的所提供数字变焦水平相关联的锐度值来产生所述预览图像。
2.根据权利要求1所述的主机设备,其中,所述所提供的数字变焦水平中的至少三个数字变焦水平形成光学均匀数字变焦水平的集合,使得对于所述集合中的任何相邻所提供数字变焦水平对,与所述对中的较大变焦水平相对应的剪裁图像尺寸同与所述对中的较小变焦水平相对应的剪裁图像尺寸之比实质上等于与所述集合中的任何其他相邻所提供数字变焦水平对中的较大变焦水平相对应的剪裁图像尺寸同所述其他相邻所提供数字变焦水平对中的较小变焦水平相对应的剪裁图像尺寸之比。
3.根据权利要求1至2中任一项所述的主机设备,其中,所述主机设备包括独立数字摄像机(100)。
4.根据权利要求1至2中任一项所述的主机设备,其中,所述主机设备包括具有数字摄像机功能的移动电子设备(200)。
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US21965109P | 2009-06-23 | 2009-06-23 | |
US21965609P | 2009-06-23 | 2009-06-23 | |
US21964509P | 2009-06-23 | 2009-06-23 | |
US61/219,645 | 2009-06-23 | ||
US61/219,656 | 2009-06-23 | ||
US61/219,651 | 2009-06-23 | ||
EP10166709A EP2267654A1 (en) | 2009-06-23 | 2010-06-21 | Adjustment of sharpness during digital zoom in digital photography |
US12/819,611 | 2010-06-21 | ||
US12/819,611 US8330832B2 (en) | 2009-06-23 | 2010-06-21 | Adjustment of sharpness during digital zoom in digital photography |
EP10166709.5 | 2010-06-21 | ||
PCT/CA2010/000976 WO2010148505A1 (en) | 2009-06-23 | 2010-06-23 | Adjusting image sharpness during digital zoom photography |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102461155A CN102461155A (zh) | 2012-05-16 |
CN102461155B true CN102461155B (zh) | 2015-07-08 |
Family
ID=42556523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080028186.1A Active CN102461155B (zh) | 2009-06-23 | 2010-06-23 | 在数字变焦摄影期间调整图像锐度 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8330832B2 (zh) |
EP (1) | EP2267654A1 (zh) |
CN (1) | CN102461155B (zh) |
CA (1) | CA2757987C (zh) |
WO (1) | WO2010148505A1 (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130204962A1 (en) * | 2012-02-02 | 2013-08-08 | Texas Instruments Incorporated | Network and peripheral interface circuits, systems and processes |
US20130293765A1 (en) * | 2012-03-10 | 2013-11-07 | Digitaloptics Corporation | MEMS Auto Focus Miniature Camera Module with Abutting Registration |
US9294667B2 (en) * | 2012-03-10 | 2016-03-22 | Digitaloptics Corporation | MEMS auto focus miniature camera module with fixed and movable lens groups |
US9215377B2 (en) * | 2013-12-04 | 2015-12-15 | Nokia Technologies Oy | Digital zoom with sensor mode change |
KR102211592B1 (ko) * | 2014-03-19 | 2021-02-04 | 삼성전자주식회사 | 전자 장치 및 이의 영상 처리 방법 |
US10319073B2 (en) | 2014-09-12 | 2019-06-11 | Barnes & Noble College Booksellers, Llc | Universal digital content zooming techniques |
EP3212057B1 (en) | 2014-10-29 | 2021-12-01 | Spectral MD, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
US9717417B2 (en) | 2014-10-29 | 2017-08-01 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
US9426386B2 (en) * | 2015-01-19 | 2016-08-23 | Mediatek Inc. | Method for performing preview control in an electronic device, and associated apparatus |
US9445007B1 (en) | 2015-02-25 | 2016-09-13 | Qualcomm Incorporated | Digital zoom methods and systems |
CN106657780B (zh) * | 2016-12-16 | 2020-06-02 | 北京小米移动软件有限公司 | 图像预览方法和装置 |
CN108259819B (zh) * | 2016-12-29 | 2021-02-23 | 财团法人车辆研究测试中心 | 动态影像特征加强方法与系统 |
CN110573066A (zh) | 2017-03-02 | 2019-12-13 | 光谱Md公司 | 用于多光谱截肢部位分析的机器学习系统和技术 |
US10578869B2 (en) * | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
US10740884B2 (en) | 2018-12-14 | 2020-08-11 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
EP3893733A4 (en) | 2018-12-14 | 2022-10-12 | Spectral MD, Inc. | MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT |
KR20210099126A (ko) | 2018-12-14 | 2021-08-11 | 스펙트랄 엠디, 인크. | 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법 |
US10783632B2 (en) | 2018-12-14 | 2020-09-22 | Spectral Md, Inc. | Machine learning systems and method for assessment, healing prediction, and treatment of wounds |
EP3997866A4 (en) * | 2019-08-26 | 2023-03-22 | Samsung Electronics Co., Ltd. | SYSTEM AND METHOD FOR CONTENT ENHANCEMENT USING QUAD COLORED FILTER ARRAY SENSORS |
CN111050066A (zh) * | 2019-11-01 | 2020-04-21 | 深圳市道通智能航空技术有限公司 | 变焦方法、装置、飞行器、飞行系统及存储介质 |
JP6896963B1 (ja) * | 2020-01-15 | 2021-06-30 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、撮像装置、移動体、制御方法、及びプログラム |
WO2021253167A1 (zh) * | 2020-06-15 | 2021-12-23 | 深圳市大疆创新科技有限公司 | 数字变焦成像方法、装置、相机以及无人飞行器系统 |
CN111885305B (zh) * | 2020-07-28 | 2022-04-29 | Oppo广东移动通信有限公司 | 预览画面处理方法及装置、存储介质和电子设备 |
US11363209B1 (en) | 2021-02-24 | 2022-06-14 | Qualcomm Incorporated | Systems and methods for camera zoom |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5838371A (en) * | 1993-03-05 | 1998-11-17 | Canon Kabushiki Kaisha | Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification |
WO2002080523A2 (en) * | 2001-03-30 | 2002-10-10 | Kodak Polychrome Graphics | Automated sharpening of images for soft proofing |
CN101326816A (zh) * | 2006-04-21 | 2008-12-17 | 卡西欧计算机株式会社 | 摄像设备和电子变焦方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7453498B2 (en) * | 1998-03-26 | 2008-11-18 | Eastman Kodak Company | Electronic image capture device and image file format providing raw and processed image data |
US6559888B1 (en) * | 1998-03-31 | 2003-05-06 | Amir Doron | Digital camera and method of smoothing optical and digital zoom effects |
JP2002314868A (ja) * | 2001-04-13 | 2002-10-25 | Olympus Optical Co Ltd | 撮像装置 |
JP3913491B2 (ja) * | 2001-04-20 | 2007-05-09 | 三洋電機株式会社 | ディジタルズーム装置 |
JP3959741B2 (ja) * | 2003-03-19 | 2007-08-15 | ソニー株式会社 | 撮像装置及び画像の輪郭強調方法 |
GB2400253B (en) * | 2003-03-29 | 2005-11-16 | Hewlett Packard Development Co | Combined optical and digital zoom |
JP4131192B2 (ja) * | 2003-04-25 | 2008-08-13 | コニカミノルタオプト株式会社 | 撮像装置、画像処理装置及び画像記録装置 |
WO2005065283A2 (en) * | 2003-12-24 | 2005-07-21 | Walker Digital, Llc | Method and apparatus for automatically capturing and managing images |
US7688364B2 (en) * | 2004-12-10 | 2010-03-30 | Ambarella, Inc. | Decimating and cropping based zoom factor for a digital camera |
JP4956988B2 (ja) * | 2005-12-19 | 2012-06-20 | カシオ計算機株式会社 | 撮像装置 |
JP4018727B2 (ja) * | 2006-02-14 | 2007-12-05 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
US8154625B2 (en) * | 2007-04-02 | 2012-04-10 | Research In Motion Limited | Camera with multiple viewfinders |
-
2010
- 2010-06-21 EP EP10166709A patent/EP2267654A1/en not_active Ceased
- 2010-06-21 US US12/819,611 patent/US8330832B2/en active Active
- 2010-06-23 CA CA2757987A patent/CA2757987C/en active Active
- 2010-06-23 CN CN201080028186.1A patent/CN102461155B/zh active Active
- 2010-06-23 WO PCT/CA2010/000976 patent/WO2010148505A1/en active Application Filing
-
2012
- 2012-11-05 US US13/668,475 patent/US8704917B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5838371A (en) * | 1993-03-05 | 1998-11-17 | Canon Kabushiki Kaisha | Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification |
WO2002080523A2 (en) * | 2001-03-30 | 2002-10-10 | Kodak Polychrome Graphics | Automated sharpening of images for soft proofing |
CN101326816A (zh) * | 2006-04-21 | 2008-12-17 | 卡西欧计算机株式会社 | 摄像设备和电子变焦方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102461155A (zh) | 2012-05-16 |
CA2757987A1 (en) | 2010-12-29 |
US8330832B2 (en) | 2012-12-11 |
US20100321535A1 (en) | 2010-12-23 |
WO2010148505A1 (en) | 2010-12-29 |
US8704917B2 (en) | 2014-04-22 |
US20130057731A1 (en) | 2013-03-07 |
EP2267654A1 (en) | 2010-12-29 |
CA2757987C (en) | 2015-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102461155B (zh) | 在数字变焦摄影期间调整图像锐度 | |
US7593008B2 (en) | Electro-optical apparatus, driving method thereof, and electronic device | |
CN106328083B (zh) | 一种液晶显示器及其补偿数据存储方法 | |
US20070153117A1 (en) | Apparatus and method for adjusting display-related setting of an electronic device | |
CN100559886C (zh) | 电子摄像装置及电子摄像方法 | |
US7693350B2 (en) | Pixel interpolation device and camera adapted to perform pixel interpolation of captured image | |
CN101998048A (zh) | 数字图像信号处理方法和数字图像信号处理设备 | |
US20090073306A1 (en) | Method, medium, and apparatus for setting exposure time | |
US20090167738A1 (en) | Imaging device and method | |
JP2010263584A (ja) | 電子カメラ、画像処理装置および画像処理方法 | |
US8285135B2 (en) | Method and device for adjusting weighting values in light metering | |
JP2011137697A (ja) | 照明装置及び該照明装置を用いた計測システム | |
CN102883105A (zh) | 摄像装置及其控制方法 | |
CN103856804A (zh) | 信息处理设备、方法和系统、输出设备和方法 | |
JPH07284011A (ja) | デジタル電子スチルカメラ | |
JP4710403B2 (ja) | 車両用画像生成装置および方法 | |
US20070229516A1 (en) | Device, method and program for image processing | |
CN105009561A (zh) | 摄像装置的异物信息检测装置以及异物信息检测方法 | |
DE102021121513A1 (de) | Projektionsvorrichtung und Steuerverfahren | |
US20150109351A1 (en) | Display device, electronic apparatus, and method for driving display device | |
CN104584114A (zh) | 液晶显示装置 | |
CN115775541A (zh) | 一种显示屏的背光补偿方法、装置、芯片和终端 | |
Chen et al. | Photography in dermatologic surgery: selection of an appropriate camera type for a particular clinical application | |
KR20090095852A (ko) | 복수의 레이어들을 중복하여 디스플레이하는 디스플레이장치 및 이의 제어 방법 | |
CN110084856A (zh) | 标定图像的亮度调整方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C53 | Correction of patent of invention or patent application | ||
CB02 | Change of applicant information |
Address after: Voight, Ontario, Canada Applicant after: Blackberry Ltd. Address before: Voight, Ontario, Canada Applicant before: Research In Motion Ltd. |
|
COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: Free format text: CORRECT: APPLICANT; FROM: RESEARCH IN MOTION LTD. TO: BLACKBERRY LTD. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |