CN101204083A - 利用颜色数字图像对动作如锐度修改进行控制的方法 - Google Patents

利用颜色数字图像对动作如锐度修改进行控制的方法 Download PDF

Info

Publication number
CN101204083A
CN101204083A CNA2006800123908A CN200680012390A CN101204083A CN 101204083 A CN101204083 A CN 101204083A CN A2006800123908 A CNA2006800123908 A CN A2006800123908A CN 200680012390 A CN200680012390 A CN 200680012390A CN 101204083 A CN101204083 A CN 101204083A
Authority
CN
China
Prior art keywords
image
color
acutance
capture device
digital picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800123908A
Other languages
English (en)
Inventor
劳伦特·沙纳斯
艾梅内·塔舒那
弗雷德里克·吉夏尔
布鲁诺·利热
杰罗姆·梅尼埃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dxo Labs SA
Original Assignee
Dxo Labs SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR0550601A external-priority patent/FR2880958B1/fr
Application filed by Dxo Labs SA filed Critical Dxo Labs SA
Priority to CN201210177544.6A priority Critical patent/CN102984448B/zh
Publication of CN101204083A publication Critical patent/CN101204083A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Paper (AREA)

Abstract

本发明涉及一种用于通过利用从至少一个数字图像(10)进行的测量来激活功能的方法,所述至少一个数字图像具有至少两种颜色(195,196)并且源自图像捕捉设备。根据这样的方法:-测量(190)在图像的至少一个区域R中的至少两种颜色之间的相对锐度;以及-取决于所测量的相对锐度,控制(191)至少一个动作。

Description

利用颜色数字图像对动作如锐度修改进行控制的方法
技术领域
本发明涉及一种利用颜色数字图像来激活功能(如锐度改变)的方法。更具体地但非排他地,本发明涉及对数字图像的至少一个颜色的锐度改善。本发明还涉及一种实现这种方法的系统以及由这种方法所生成的图像。
本发明还涉及一个用于图像捕捉和/或再生设备的实施例,所述图像捕捉和/或再生设备包括用于捕捉和/或再生图像的光学系统、图像传感器和/或生成器和/或伺服控制系统,所述图像由数字图像处理装置考虑到对其的改善来处理。
本发明还涉及一种通过这样的实施方法而获得的设备。
涉及的问题
一个图像令人满意的可视化使得锐度比这样的图像以紧凑尺度表现细节更加重要。
因此,公知的是设法根据诸如如下所述的方法来改善数字图像中的至少一个颜色的锐度:
i)在相机这种特定情况下:
-可以使用光学聚焦装置(焦点),该光学聚焦装置移动光学元件,使得能够具有可变范围的距离,由此图像是锐利的。这种装置,不管是手动的还是机动的,常常包括伺服控制系统,该伺服控制系统能够根据场景中对象的距离来选择移动。
这种方法的应用有相机和电影摄影机。其不便之处在于景深有限(特别是在大孔径下)以及成本和总体尺寸,所述总体尺寸不易适配于小尺寸的装置,如电话。
-可以使用波前编码类型的解决方案,该方案将特定的光学元件添加到光学系统,以便通过计算较大景深下的锐度来实现重现。
这种方法的应用是有限的(显微镜方法),并且缺点在于需要特定的光学元件,并需要对包括光学系统的硬件进行调整。
-可以实施以下解决方案:添加由柔性液体透镜组成的特定光学元件,所述透镜相对于光学部件是固定的。这样的方法展示了一种伺服控制系统,该伺服控制系统能够根据场景中对象的距离来选择所述透镜的形状。
这种解决方案的应用(用于照相手机或相机)缺点在于是一种特定的制造方法,成本高,具有庞大的光学元件,并且需要硬件改造。
ii)在更加普遍的环境中,解决方案为:
-通过利用“锐化”方法或任何其它计算方法来增加锐度的针对亮度或针对颜色的去模糊算法。
这种方法的应用(所有的照片摄取设备)缺点在于锐度的增加有限,并且因此在景深方面的增加非常微小。
另外,这样的图像捕捉和再生设备(如数字或胶卷相机)的已知设计或实施例技术包括首先选择设备(即光学系统、传感器和伺服控制系统)的硬件元件的性质。然后,在必要时提供数字图像处理装置,以便校正设备中至少一个硬件元件的缺陷。
具体地,为了设计设备的光学系统,首先需要编制需求的规格(specification)章程,即说明总体尺度、焦距范围、孔径范围、覆盖的视野、表现的性能(以图像点尺寸或者以MTF(调制传递函数)的形式)以及成本。通过使用这样的需求规格,可选择光学系统的类型,并且通过使用光学计算软件工具如“Zemax”工具,可计算这个系统的参数,从而能够尽可能地遵循所述需求规格。这样的光学系统聚焦是以交互的方式执行的。一般而言,设计光学系统目的是为了在图像的中心表现最好的质量,而图像边界的质量则通常较差。
另外,通用的技术是这样的:设计光学系统以便获得确定水平的失真、渐晕、模糊和景深,从而能够将该光学系统与其它光学系统相比较。
此外,对于数字照相设备,还陈述了传感器规格,即像素的质量、像素的表面面积、像素的数目、微透镜矩阵、防混叠滤波器、像素的几何形状以及像素的布局。
通用的技术包括:独立于图像捕捉设备的其它部分,并且特别地,独立于图像处理系统,来选择图像捕捉设备的传感器。
图像捕捉和/或再生设备通常还包括一个或几个伺服控制系统,如曝光系统和/或聚焦系统(自动聚焦或“自聚焦(autofocus)”)和/或闪光控制系统。
因此,为了规定曝光系统(所述曝光系统激活孔径和曝光时间,可能还有传感器增益),确定了用于测量的装置;特别要确定的是要在其上测量曝光的图像区,另外还有影响每个区的权重。
对于聚焦系统,要确定的是要用于聚焦的图像区的数目和位置。还要规定的例如是对驱动器移动的建议。
无论在何种情况下,都应用这样的规格,而不管是否存在用于图像处理的数字装置。
关于本发明的观察
本发明基于以下观察的组合,所述观察单独地涉及本发明:
i)图像捕捉和/或处理设备在这样的图像上生成可变的锐度,该锐度取决于所考虑的颜色,如由图1a和1b在下面描述的那样。
图1a示出了装备有传感器2的光学装置(未图示)的会聚透镜1,该传感器2位于与波长λ2相关联的聚焦点3.2。因此,当图像表现有很大距离的对象时,由这个波长λ2限定的颜色在由这样的透镜形成的图像上是锐利的。
然而,这样的调整伴有三个问题:
-首先,透镜聚焦点3.2直接与这个波长λ2所限定的颜色相关,使得直接与波长λ1所限定的另一颜色相关的聚焦点3.1位于传感器的上游。
因此,由这个第二种颜色(λ1)形成的图像在传感器水平上不如第一种颜色(λ2)形成的图像那样锐利,这样,降低了传感器所形成的总体图像的锐度。
-第二,针对波长,透镜聚焦点是可变的,这取决于它与图像上所展示的对象4的距离。
因此,图1b示出了当所展示的对象从远距离(图1a)转换到更靠近的距离(图1b)时,分别与波长λ1和λ2相关联的聚焦点的新位置4.1和4.2。
在后一情况下,看来传感器位于颜色(λ1)的聚焦点,该颜色预先并没有提供锐利的图像。
-第三,针对波长和远距离的对象,透镜聚焦点是可变的,这取决于图像中所展现的对象的位置。
ii)如图2所示,图2为图像根据轴6.1的光谱分布的一个示例。图像通常包括几种颜色,其强度(Y轴6.2)可以是类似的。在这个例子中展示了蓝色分量5.1(波长近似450nm)、绿色分量5.2(波长近似550nm)和接近红色的分量(波长近似600nm),当然,明显的是,本发明适用于图像而与其所考虑的颜色和波长分布(例如红外或紫外)无关。
iii)标准的锐度改善技术没有利用以下事实:取决于图像上所展示的对象的距离,多个颜色之一可比其它的颜色更锐利。
iv)另外,本发明基于以下观察:标准设备的设计或实施技术没有能够充分利用图像处理数字装置所提供的可能性。
本发明:
因此,本发明总的来说涉及一种数字图像至少一种颜色的锐度改善方法,该方法包括以下步骤:
-从图像颜色中选择被称为锐利颜色的至少一种颜色;以及
-将锐利颜色的锐度反映(reflect)到至少一种其它改善的颜色上,以便改善的颜色有增加的锐度。
考虑到本发明,从而可以:
-增加图像的所感觉的锐度;
-增加捕捉设备的景深;
-创建宏功能;
-控制景深,而不管曝光如何;
-利用图像来测量成像场景的对象的距离;
-改善曝光和/或聚焦和/或闪光伺服控制装置;
-降低捕捉设备的成本;
-就相同的性能而言,减少捕捉设备的尺寸;
-利用具有固定焦距的同一镜头(例如照相手机的),读取条形码和/或名片和/或书写的文本和/或拍摄肖像和/或风景图;
-设计和/或选择镜头,特别的是就孔径和景深而言,该镜头给予设备增加的规格;
-根据至少两种颜色之间的相对锐度和/或成像场景的对象的距离,来创建图像效应;
-使得用户能够以数字的方式改变至少两种颜色之间的相对锐度的图像焦点和/或成像场景的对象的距离的图像焦点;以及
-通过消除或简化用于聚焦的光学系统,减少捕捉请求和实际图像捕捉之间的时间。
本发明进一步涉及一个捕捉设备的实施例,所述捕捉设备包括光学捕捉系统、传感器和/或伺服控制系统,考虑到对象的改善,由数字图像处理装置来处理图像;以及
一种方法,其中,用户确定或选择光学系统和/或传感器和/或伺服控制系统参数,利用由数字装置处理图像的能力,以便使实施成本最小化和/或使捕捉设备的性能最优。
在一个实施例中,该方法进一步包括将数字图像分解成多个区域的步骤,为每个区域选择所述锐利颜色。
在一个实施例中,所述锐利颜色选择包括根据预定规则选择最锐利的颜色。
在一个实施例中,所述“锐利颜色”选择是预定的。
在一个实施例中,所述数字图像出自捕捉设备,并且所述锐利颜色选择取决于捕捉设备和捕捉场景的至少一个对象之间的距离,以便获得所述数字图像。
在一个实施例中,所述图像捕捉设备包括宏模式,所述锐利颜色选择取决于宏模式的激活。
在一个实施例中,所述数字图像出自捕捉设备,所述方法进一步包括以下步骤:通过使用捕捉场景的至少一个对象的图像区域中的至少两种颜色的锐度,确定捕捉设备和所述对象之间的距离。
在一个实施例中,该方法进一步包括降低至少一个图像区域内至少一种颜色的锐度的步骤。
在一个实施例中,该方法进一步包括以下步骤:通过使用至少两种颜色的锐度,确定用于所述捕捉设备的伺服控制指令,以便聚焦以较少的步骤实现并且被加速。
在一个实施例中,所述数字图像出自包括镜头的捕捉设备,所述方法进一步包括以下步骤:从一系列的预定镜头中选择一个镜头,所述镜头展示了如此的规格,使得具有至少两个预定距离的对象的图像展示不同的锐利颜色,从而改善景深和/或降低镜头的成本。
在一个实施例中,所述数字图像出自包括镜头的捕捉设备,所述方法进一步包括以下步骤:通过考虑到根据本发明的方法来设计镜头,所述镜头展示了如此的规格,使得具有至少两个预定距离的对象的图像展示不同的锐利颜色;
-以便改善景深和/或孔径和/或任何其它光学规格,并且/或者降低光学系统的成本。
-以便利用较少的位置来实现机械聚焦。
在一个实施例中,锐利颜色的锐度对至少一种其它改善颜色的相互作用通过以下来实施:使用CA=CN+F(CO-CN)类型的计算,其中,CA表示改善的颜色,CO表示处理前的改善的颜色,CN表示锐利颜色,而F则表示滤波器,即低通滤波器。
本发明还涉及图像捕捉和/或再生设备(20)的一个实施例,所述图像捕捉和/或再生设备(20)包括用于捕捉和/或再生图像的光学系统(22,22’)、图像传感器(24)和/或生成器(24’)和/或伺服控制系统(26),考虑到对图像的改善,由数字图像处理装置(28,28’)来处理图像;
-所述方法是这样的:利用经由数字装置来处理图像的能力,用户确定或选择光学系统和/或传感器和/或图像生成器和/或伺服控制系统的参数,并且特别用于根据遵照在前权利要求之一的方法根据另一种颜色的锐度来改善颜色的锐度,
-以便使实施成本最小化和/或使图像捕捉和/或再生设备的性能最优化。
本发明还涉及一种图像捕捉和/或再生设备,其利用根据前述实施例之一的和/或通过根据前面实施例的某实施例而获得的颜色改善方法。
本发明还涉及一种数字图像,其根据遵照前述实施例之一的方法而获得,或者通过使用遵照前面实施例的设备而获得。
最后,本发明还涉及一种数字图像处理装置,其实施根据前述实施例之一的方法。
定义
下文描述所使用的各术语的含义:
-数字图像指的是以数字形式生成的图像。该图像可以出自图像捕捉设备。
数字图像可以用在下文中被称为“灰度级”的一系列数字值来表示,每个数字值与颜色方面的灵敏度以及表面上或体积内的相对几何位置有关。本发明的意义内,颜色指的是与颜色方面的这种相同的灵敏度相关的一系列数字值。
数字图像优选地为“去马赛克”(即去除矩阵)之前的来自传感器的原始图像。数字图像也可以是经过处理的,例如经过去马赛克或白平衡的处理。根据本发明,数字图像优选地是未经历子采样的。
-如果数字图像出自图像捕捉设备,则这样的图像捕捉设备将包括装备有敏感元件的传感器。敏感元件指的是传感器元件,其能够将能量流转换成电信号。特别地,能量流可以是发光流、X射线、磁场、电磁场或声波的形式。取决于实际情况,敏感元件可以并置于表面上和/或在体积内叠置。可以根据矩形矩阵、六边形矩阵或任何其它几何形状来放置敏感元件。
-本发明适用于传感器,所述传感器包括至少两种不同类型的敏感元件,每种类型都具有颜色方面的灵敏度,并且每个颜色灵敏度对应于部分的能量流,所述能量流被传感器的敏感元件转换成电信号。在可见图像传感器的情况下,传感器一般对3种颜色敏感,数字图像也具有3种颜色:红5.1、绿5.2和蓝5.3,如图2所示。图2在垂直轴6.2上示出了所转换的能量的量,在水平轴上示出了波长。某些传感器对4种颜色敏感:红、绿、翠绿和蓝。
-颜色还指由传感器发出的信号的组合,尤其是线性的组合。
-本发明通过利用每个已知锐度的各种已定义来应用。例如,颜色的锐度可以对应于对称为“BXU”的值的测量,BXU是对模糊斑点表面的测量,如Jérme BUZZI和Frédéric GUICHARD在“Proceedings of IEEE,International Conference of Image Processing,Singapore 2004”中发表的、名称为“Uniqueness of Blur Measure”的论文中描述的那样。
简单地说,光学系统的模糊根据图像来测量,称作“脉冲响应”,根据位于锐度平面内的无限小的点。BXU参数是脉冲响应的变体(即其平均表面)。处理能力可以被限制到最大BXU值。
在例如像由Al Bovik编辑并且由Academic出版社出版的“HandbookofImage & Video processing”(第415-430页)的手册和出版物中描述了用于这样的锐度的各种测量方法。
如一般所接受的那样,参数涉及图像的质量。在实施例中,颜色的锐度通过计算梯度来实现。例如,通过计算取自所考虑的颜色内的相邻几何位置的9个灰度级的梯度,可以获得颜色的锐度。
本发明涉及至少两种颜色的锐度。根据实施例,仅以一个相对于另一个的相对方式来考虑所述至少两种颜色的锐度。对于这样的实施例,梯度使得能够简单地计算两种颜色之间的相对锐度,而与图像内容无关。
本发明涉及从颜色中选择被称为“锐利颜色”的至少一种颜色。根据一个实施例,可以通过确定至少两种颜色中的哪一种颜色最锐利,来进行这样的选择。对于这样的实施例,梯度使得能够简单地确定至少两种颜色中最锐利的颜色。
在实施中,
-图像捕捉设备例如是集成到或链接到电话、个人助理或计算机的游戏、电影摄影机或拍照设备、一次性相机、数字相机、反射式相机(数字的或非数字的)、扫描仪、传真机、内窥镜、电影摄影机、摄像放像机、监视相机,还可以是热照相机、超声设备、MRI(磁共振成像)设备、X射线照相设备。
应当注意的是,本发明涉及这样的类型的对包括至少两种颜色的图像进行处理的设备。
-用于图像捕捉的光学系统指的是能够在传感器上再生图像的光学装置。
-图像捕捉指的是能够捕捉和/或记录图像的机械、化学或电子装置。
-伺服控制系统指的是使设备的元件或参数能够遵循指令的装置,无论其是机械、化学、电子还是信息技术类型的。它尤其是指自动聚焦系统(自聚焦)、自动白平衡控制、自动曝光控制、例如为了维持均匀图像质量的对光学元件的控制、图像稳定系统、光学和/或数字变焦因数控制系统、饱和控制系统或对比度控制系统。
-数字图像处理装置可以取决于它们的应用而采用各种形式。
-数字图像处理装置可以部分地或整体地集成到设备中,如以下例子中那样:
-生成变化的图像的图像捕捉设备,例如,具有集成的图像处理装置的数字拍照设备。
-显示或打印变化的图像的图像再生设备,例如包括图像处理装置的视频投影仪或打印机。
-校正其元件缺陷的多功能设备,例如包括图像处理装置的扫描仪/打印机/传真机。
-生成变化的图像的专业图像捕捉设备,例如包括图像处理装置的内窥镜。
根据一个实施例:
-数字图像处理装置包括用于通过激活包括以下的参数组中的至少一个来改善图像质量的装置:光学系统的几何失真、光学系统的色差、视差的补偿、景深、光学系统和/或图像传感器和/或生成器的渐晕、光学系统和/或图像传感器和/或生成器的锐度不足、噪声、莫尔纹现象和/或对比度;
-和/或从包括以下的组中选择光学系统的给定或所选参数:系统的光学元件的数目、包括光学系统光学元件的材料的类型、用于光学系统的材料的成本、光学表面的处理、装配容差、根据焦距的视差的值、孔径规格、孔径机制、可能焦距的范围、聚焦规格、聚焦机制、防混叠滤波器、总体尺度、景深、链接焦距和聚焦的规格、几何失真、色差、偏离中心、渐晕、锐度规格;
-和/或从包括以下的组中选择图像捕捉和/或生成设备的给定或所选参数:像素的质量、像素的表面面积、像素的数目、微透镜矩阵、防混叠滤波器、像素的几何形状、像素的布局;
-和/或从包括以下的组中选择伺服控制系统的给定或所选参数:聚焦测量、曝光测量、白平衡测量、聚焦指令、孔径指令、曝光指令、传感器增益指令、闪光指令。
对于能够自动聚焦的伺服控制系统,可知聚焦可以各种方式来实施,特别是通过对光学系统的移动元件的位置进行控制,或者通过对柔性光学元件的几何形状进行控制。
-特别地,捕捉设备的性能包括其成本、其总体尺度、它可以接收或发出的最小光量、图像质量(即其锐度),及光学器件、传感器和伺服控制的技术规格以及其景深。
因此,应当注意的是,景深可被定义为这样的距离范围,其中对象生成锐利图像、即其中锐度超过颜色(一般是绿色)的给定阈值,或者被定义为最近对象平面和最远对象平面之间的距离,其中模糊斑点没有超过预定尺度。
虽然绿色主要用于限定图像的锐度,但是如随后说明的那样,使用绿色来限定景深也很常见。
本发明还涉及一种通过实施例方法获得的设备,如上所述。
根据本发明的其它规格(所述其它规格可以与上述那些分开或结合使用):
本发明涉及一种通过利用对至少一个数字图像进行的测量来激活功能的方法,所述至少一个数字图像来源于图像捕捉装置,具有至少两种颜色,其中:
-测量图像的至少一个区域R中至少两种颜色之间的相对锐度;及
-根据所测量的相对锐度来激活功能。
区域指的是图像的一部分或其整体。一个区域包括一个或几个相邻或不相邻的像素。
因此,特别地,该动作适应于成像对象和捕捉设备之间的距离,或者适应于两个成像对象之间的相对深度。
可以以各种方式来测量相对锐度,例如(但这样的列举并非穷尽性的):
-可确定最锐利的颜色,和/或
-可从颜色中选择被称为“锐利颜色”的至少一种颜色,和/或
-可比较颜色之间的锐度,和/或
-可计算锐度差,和/或
-可直接计算相对锐度。
相对锐度测量的各种例子将在下文中说明,特别地在图3a、3b、4、5、6、7、8、9和10中图示。
区域中的相对锐度和/或对相对锐度的测量可以表示为例如表示区域中的平均相对锐度的单个数字值,或者表示区域的几个部分中的相对锐度的几个数字值。
根据本发明,根据所测量的相对锐度,激活至少一个功能。这样的动作特别地包括(但这样的列举并非穷尽性的):
-对数字图像和/或另一个数字图像的直接或间接处理(特别地通过提供对或距离数据和/或位置和/或方向参数的处理),和/或
-对场景的至少一个对象或物体的至少一部分的距离和/或方向和/或位置和/或尺寸和/或取向和/或几何形式的测量,和/或
-直接或间接链接到三维成像场景的几何形状的数据,和/或
-对象检测,特别是脸和/或主要的一个或多个物体,和/或
-对象识别和/或鉴别,例如脸,和/或
-设备的位置和/或运动测量,和/或
-对设备或另一个装置如机器人的伺服控制,和/或
-对主要物体的自动取景,和/或
-对设备的一种调整改变,和/或
-信号的产生或激活,和/或
-数字图像或另一个数字图像内对象的添加、消除或改变,和/或
-直接或间接利用相对锐度测量的任何其它动作。
根据实施例,该动作实施:
-数字图像,和/或
-另一个数字图像,和/或
-设备用户所作的选择,和/或
-拍照期间捕捉设备的至少一个规格,和/或
-其它数据。
在动作涉及直接或间接处理的情况下,过程可以包括以下动作(但这样的列举并非穷尽性的)中的一种:
-以数字的方式改变聚焦,和/或
-根据至少两种颜色之间的相对锐度和/或成像场景的对象的距离,产生图像效应,和/或
-降低图像的至少一个区域内至少一种颜色的锐度,和/或
-增加图像的至少一个区域内至少一种颜色的锐度,和/或
-激活压缩,和/或
-实施在此描述的任何其它过程。
对用于激活功能的所测量的相对锐度的使用特别地使该功能能够适合于成像对象的至少一个部分和测量设备之间的距离、和/或对象的至少一个部分的几何形状、和/或对象的至少一个部分的位置和/或尺寸、和/或对象的至少一个部分的方向。
已知的方法并不如根据至少一个图像区域的相对锐度测量来激活这种类型的功能,而是除了图像捕捉设备外,还需要使用特定的装置,目的是为了估计距离。而且,已知的方法仅可实施对一个特殊点或有限数目的点的距离的测量,而本发明则实现了对大量点的距离的同时测量。
根据一个实施例,所激活的功能包括以下:
-对捕捉设备与数字图像所成像的至少一个对象之间的距离的确定,和/或对两个成像对象之间的相对距离的确定,
-根据所述距离和/或所述相对距离的动作,
-对数字图像和/或另一个数字图像的至少一个区Z’的处理,
-对捕捉设备的伺服控制和/或对另一个设备的伺服控制,
-向用户提供指示和/或报警和/或警报信号,
-对图像的一部分的检测,
-颜色锐度的改变,
-对捕捉设备的位置和/或移动的确定,
-对图像内物体位置的确定,
-至少一个图像规格的改变,
-全部或部分的图像的改变,
-对图像内所关心区的确定,特别是为了提供伺服控制信号,
-全部或部分的图像的分辨率的改变,
-与图像相关的数据的提供,
-向声音捕捉装置提供数据,
-压缩的参数确定,
-全部或部分的图像的改变,
-捕捉设备的至少一个调整。
根据一个实施例,所激活的功能包括对数字图像和/或另一个数字图像的至少一个区Z’的处理。
区Z’是或者不是已对其测量相对锐度的数字图像的一部分。
作为对数字图像进行处理的例子,从已测量至少两种颜色之间的相对锐度的数字图像分离可首先被引用在视频序列的获取中,其中,可对下一个图像或者另一个图像进行处理,这样的处理包括增加锐度(同样作为例子给出)。
事实上,可增加下一个图像的锐度,因为它基于对前一图像的测量,该前一图像很难与这样的下一个图像区分开。因此,不必要在存储器中保存当前的数字图像。
在另一个例子中:在数字拍照设备内,对在照片的实际获取之前显示的图像进行锐度测量;通过利用最后一个测量或多个最后测量的组合,对所获取的图像以全分辨率在稍后的阶段进行处理(而对在实际拍摄之前显示的图像进行的测量是以较低的分辨率进行的)。
在一个实施例中,区Z’构成全部或部分的数字图像区域(已对其进行了相对锐度测量)、和/或整个数字图像、和/或从数字图像区域中分离的区、和/或另一个数字图像、和/或另一整个数字图像。
当区Z’构成全部或部分的数字图像区域时,例如当需要增加景深时,区Z’为像素;相对锐度被测量的一个N个像素的区域根据这样的相对锐度来定义,其中,为了将最锐利颜色的锐度传递到另一种颜色,应用了滤波器,以便增加像素的锐度。通过对每个像素重复这种操作,增加了景深。
进行所述处理的区Z’可以构成一个全数字图像,尤其是当全图像的锐度增加的时候。
作为对数字图像区域的一个不同区进行处理的例子,将引用对区域进行相对锐度测量的情况,由此在对应于数字变焦的居中图像部分上施加处理。
作为向另一个全数字图像和/或另一个数字图像的区施加的处理的例子,可回忆上述视频序列的例子,另一个数字图像例如是在一视频图像随后的图像;另一个图像例如也是拍照设备以全分辨率获取的数字图像,而被测量的图像是低分辨率的。
在一个实施例中,激活处理的区Z’包括图像的至少一个像素,而区域则包括数字图像中相应像素的预定邻域。经处理的图像可以是数字图像。经处理的图像还可以是另一图像,例如是出自相同的捕捉设备并且是在数字图像后捕捉的图像。在这样的情况下,通过关联两个图像位于相同位置的像素,可实现两个图像的像素之间的对应性。这样的情况在短的时帧如1/15s内捕捉图像的情况下具有防止测量和处理之存储数字图像的优点而没有任何麻烦的赝象(artefact),。
在一个实施例中,图像的全部像素被施加了这种处理。处理的图像可以是数字图像。处理的图像还可以是另一图像,例如是出自相同的捕捉设备并且是在数字图像之后捕捉的图像。
在一个实施例中,对至少区Z’的处理包括改变至少一个图像规格,所述至少一个图像规格包括:锐度、对比度、发光度、细节、颜色、压缩类型、压缩率、图像内容、分辨率。
对比度改变的例子:
例如在视频会议的情况下,特写对象的对比度增加,而背景对象的对比度则降低。相反地,为了减轻模糊效应,可降低特写对象的对比度,而可增加背景对象的对比度。
发光度改变的例子:
例如对于视频会议,处理可以涉及使特写对象变亮并且使背景变暗。相反地,对于使用闪光灯拍摄的图像,发光度处理包括使背景变亮并且使特写对象变暗,以便补偿闪光灯效果。
细节改变的例子:
对于视频会议,可减少背景对象的细节,以便允许对这样的背景对象的进行较高压缩,同时保持主要物体的最好质量。
颜色改变的例子:
区域的颜色方面的饱和度降低,即在相对锐度超过阈值之处,以便消除过分的纵向色差,有时称作“紫色边缘现象”。
压缩类型改变的例子:
对于视频会议,例如,近对象/远对象分段被提供给codec MPEG-4,以便使远对象能够高度压缩,目的是为了保持特写主要物体的最好质量。
压缩率改变的例子:
如上面提到的在视频会议的情况下那样,对背景的压缩率可以高于对主要物体的压缩率。
内容改变的例子:
处理包括用风景或布景替换背景。
在一个实施例中,处理包括借助于滤波器来改变区Z’的每个像素的锐度,所述滤波器将附到每个像素的预定邻域内的像素的值混合起来,所述滤波器的参数取决于所测量的相对锐度。
在一个实施例中,使用所测量的相对锐度来确定区Z’。
例如,Z’区对应于这样的图像部分,其中,所述相对锐度包括在给定范围内,所述给定范围与包含位于给定的距离范围内的对象的图像部分对应,所述给定的距离范围使得例如能够将前景和背景分开处理。
在本发明的意义之内,法语“arrière-plan”和“fond”具有与英语“background(背景)”相同的含义,而没有任何不同。
在一个实施例中,区Z’构成图像的背景,特别是为了远距离传输,尤其是通过可视或视频会议系统。处理的图像可以是数字图像。处理的图像还可以是另一种图像,例如是出自相同的捕捉设备并且是在数字图像后捕捉的图像。
根据一个实施例,处理包括根据成像对象和捕捉设备之间的距离为全部或部分的区Z’的像素提供数据,并且其中根据所述距离来激活对这样的数据的存储和/或传输和/或使用,所存储的数据特别地保存在数据处理文件中,亦即图像文件中。
可知区Z’可构成一个点和/或一个区域和/或几个区域和/或全图像和/或主要物体和/或背景。
根据所述距离的数据可以是例如一个具有精确指示的距离,或距离值的范围,例如小于1厘米的距离,包括在1和10厘米之间的距离,然后是10厘米和1米之间,最后是超过1米的距离。根据所述距离的数据也可以用“太近”、“近”、“附近”、“远”或“宏”类型的标准来表示。根据所述距离的数据也可以被转换成与对象或物体如“肖像”或“风景”的类型有关的信息。
因此,也可以提供图像的各个部分的距离的映射。还可以提供区相对于捕捉设备的位置。
根据所述距离的数据还可以包括图像的各种元素的距离值,诸如最小距离、最大距离、平均和典型差。
重要的是要注意到,本发明能够利用单个图像来测量场景内的几个距离,而现有技术则需要复杂的装置,诸如使用置于几个位置的几个照相机,以便实现立体观测,或者使用移动式照相机,或者使用激光测距仪,乃至使用不能获得可见图像的超声声纳。
在一个实施例中,所激活的功能包括用于捕捉设备的伺服控制功能,所述伺服控制功能包括由以下构成的组中:用于聚焦的伺服控制、用于曝光的伺服控制、用于闪光的伺服控制、用于图像取景的伺服控制、用于白平衡的伺服控制、用于图像稳定的伺服控制、用于链接到捕捉设备的另一个设备或装置的伺服控制,如对机器人的引导。
伺服控制聚焦功能的例子:
所关心的主要物体或区可通过距离测量来检测,如根据锐度那样,所关心的主要物体或区因此是最近的区。
已知的聚焦伺服控制或“自动聚焦”需要对连续的图像进行测量。相对于已知的聚焦伺服控制或“自动聚焦”,使用直接对单个数字图像进行测量而实施的用于聚焦的伺服控制尤其是有益的。
此外,已知的聚焦伺服控制包括将触发元件向下按到一半,然后在完全按下之前移动取景,而借助于本发明,则能够以完全自动的方式来实现聚焦;因此本发明可以赢得时间和更好的图像。
伺服控制曝光功能的例子:
类似于聚焦伺服控制,对所自动检测的主要物体实现曝光调整;因此,不管主要物体在图像帧内的位置如何,曝光都是正确的。换言之,类似于聚焦,用户不需要瞄准物体,然后在移动取景之前向下按到一半。
闪光灯伺服控制的例子:
因为本发明能够确定主要物体,所以能够根据主要物体来激活增亮功能,而借助于现有技术,闪光灯的强度是根据聚焦来调整的,而不是根据主要物体(具体地即最近的物体)的确定来调整的。如上面指出的那样,通过增亮,可以以数字的方式来处理最弱的光中的物体。
对另一个装置进行控制的例子:
当移动式机器人必须移动时,确定离移动式机器人最近的区域,以轨道的方式,无任何障碍,从与移动式机器人最近的对象来确定。
在一个实施例中,所激活的功能包括向捕捉设备提供信号,所述信号如数字图像和/或聚焦区的主焦点的指示信号、和/或指示数字监视和成像的场景和/或成像场景的至少一个部分的距离的改变的报警信号。
例如,在数字拍照设备中,可以具有包围主要物体的特别地预定形式的框,目的是为了在拍摄期间通知摄影者通过设备已检测到哪个主要物体。主要物体的这种指示信号可特别地在实际拍摄之前使用,以便通知摄影者什么会成为最清晰的物体或对象。
这样的信号还可以是这样的指示:最近的对象或物体相对于拍照设备太近,以致不清晰。在这样的情况下,信号采取例如以下形式:清楚的消息“前景太近”、或前景模糊的放大、乃至前景颜色的可见变化。
指示前景的场景或对象太过靠近的信号可以考虑将要拍摄图像的最终目的地,特别是考虑为这样的目的地选择分辨率。例如,会在电视接收机或计算机屏幕上模糊的物体,在拍摄设备上所见类型的小尺寸屏幕上可能是清晰的。同样地,对在24cm×30cm的纸张上打印的模糊物体在10cm×15cm的纸张上打印则不一定如此。
模糊的指示信号也可以考虑物体。例如,与自然图像相比,对条形码的检测对模糊更加容忍。
拍摄设备提供的报警信号的例子:
在监视对象的视频监视系统中,对拍摄设备进行调整,以覆盖两个区域。这些区域中的第一个是其中发现了对象的那一个,而第二区域则是拍摄设备的全范围。如果在拍摄范围之内的一个对象靠近要被监视的对象,则由此激活警报。
在一个实施例中,所激活的功能取决于捕捉设备在拍摄期间的至少一个规格,亦即焦距、孔径、聚焦距离、曝光参数、白平衡参数、分辨率、压缩或由用户进行的调整。
事实上,所激活的功能取决于所测量的相对锐度,并且这样的至少两种颜色之间的相对锐度取决于对拍摄设备的调整,亦即焦距、孔径和聚焦距离。
在一个实施例中,数字图像构成出自捕捉设备的传感器的原始图像。
这样的功能使相对锐度功能更容易,因为当使用原始图像时,测量不受以下处理的影响:去马赛克、锐度改善滤波器、颜色面积或阴影曲线变化。
然而,出自传感器的原始图像可以已经过如下处理:例如隔音、数字增益、黑等级(dark level)的补偿。
相对锐度测量和/或所激活的功能可以在捕捉设备内进行。
相对锐度测量可以在捕捉设备外进行,例如在传递数字图像之后在计算机上进行,和/或用户激活超出捕捉设备以外的功能。
事实上可以在捕捉设备外进行相对锐度测量;同样地可以超出捕捉设备外来激活功能,如已经提到的那样。例如,在计算机上实施的处理程序使用锐度测量来确定聚焦距离和/或景深,以便根据这样的距离和/或景深来实施处理。
在实施例中,功能包括对图像的一部分的检测和/或识别功能,如对脸的检测和/或识别。
例如,可以知道,脸表现一给定的尺寸。根据本发明的方法能够确定对象或物体和捕捉设备之间的距离。进而,通过利用这样的距离数据,针对焦距以及图像中对象的尺寸,可以推断所述脸的存在(其代表包括在给定范围之内的尺寸)。对象的尺寸标准可以通过其它标准像例如颜色来完成。对一个对象的检测,如对脸的检测,尤其可在电话会议期间使用,以自动进行高度的背景压缩。这样的方法也可以用于缺陷(如红眼)的检测以便校正该缺陷,或者用于识别脸(生物测定应用)。
在一个实施例中,所激活的功能包括对捕捉设备的位置和/或运动测量。
在一个实施例中,要在捕捉图像的场景中保持固定的一个或几个对象将会存储在存储器中,同时通过确定相对锐度随时间的变化来检测运动或定位。这样的布置例如可用于实施三维的可见“鼠标”类型的计算机接口。
在一个实施例中,所激活的功能包括确定主要物体或对象在图像中的位置。
数字图像内主要物体的确定标准是相对于捕捉设备的最短距离。当然,这样的标准可以与其它因素结合。例如,接近捕捉设备的位于图像边缘的对象可以通过自动过程来消除。如前所述,还可以考虑对象的尺寸标准,这样的尺寸取决于焦距以及捕捉设备和对象之间的距离。
在一个实施例中,所激活的功能进一步包括针对数字图像主要物体的数字图像和/或另一个图像的自动取景,即取中(centering)、或重新取景。再取景的图像可以是数字图像。再取景的图像还可以是另一种图像,例如是出自相同的捕捉设备并且是在数字图像之后捕捉的图像。
例如,可以提供“特写”模式,其自动确保对前景对象的取景。也可以提供“bust”模式,其根据所谓的三三规则,例如位于图像高度和宽度的三分之一内,自动确保对脸的取景。
在一个实施例中,所激活的功能包括一方面取决于相对锐度、另一方面取决于用户的选择标准的对其它的处理的应用。
例如,所选标准如下:给予图像离捕捉设备最近的部分特权。从而,功能可以包括增加图像的这样的部分的锐度,并且降低图像其余部分的锐度,以便产生比实际实现的景深低的景深。在这样的状况下,在使用如“照相手机”中的那样的利用不具有任何功能(无论是聚焦还是孔径)的镜头获取的图像中,可以模拟具有可变聚焦和孔径的镜头的动作。
在一个实施例中,所激活的功能包括:根据图像内相对锐度的变化来改变对比度和/或亮度和/或颜色和/或图像锐度。
因此,可以模拟局部照明,如闪光灯的局部照明;还可以减少闪光灯的效果,例如以便减少逆光或平渲(flat-tint)效应。
场景由一个或几个自然或人工源以及可能地由设备控制的一个(或几个)闪光灯(或灯)来照亮。
可知,图像捕捉设备控制曝光(曝光时间、传感器增益以及必要时的孔径),控制白平衡(用于整个图像之内每种颜色的增益),并且可能地控制闪光灯(闪光灯的持续时间和强度),这些取决于场景的数字图像中的测量(例如饱和区的分析、直方图的分析、平均颜色的分析),并且/或者控制利用辅助装置(红外测距仪)进行的测量、用于闪光灯等的预闪、聚焦伺服控制,其使得能够通过对利用变化的焦距拍摄的几个图像的锐度进行比较来发现由最锐利的图像生成的焦距。这样的控制修改了图像对比度和/或发光度和/或颜色,尽管没有使用图像的至少一个区域R上的至少两种颜色之间的相对锐度测量。
而且,这样的已知处理(如阴影曲线和颜色重现)修改了图像对比度和/或发光度和/或颜色,尽管没有使用图像的至少一个区域R上的至少两种颜色之间的相对锐度测量。
由于缺乏有关场景几何形状的信息,这样的已知方法是受限的。例如,难以将自然深色的对象与照明差的对象区别开来。又如,如果几个物体处在不同距离,则闪光灯不能正确地照亮这几个物体。
在一个实施例中,所激活的功能包括将要考虑的所关心的至少一个区的位置提供给曝光和/或白平衡和/或聚焦的伺服控制,所关心的这样的区是通过比较至少两个相对锐度测量来确定的。
例如,可以对最接近捕捉设备的部分执行曝光功能,可能地与另一个标准相结合,诸如消除图像边缘(场边界)的一个或多个接近对象。
例如可以对图像中心的大尺度物体进行白平衡伺服控制,可能不利于不同照明的背景。作为一个变体,该方法包括:确定图像中的特写部分和远景部分,白平衡功能对这些区域进行分开测量,以便确定是否存在几个照明,并且对这些区域中的每一个进行各自的补偿。
如果聚焦伺服控制被给予了所关心区的位置,则对聚焦的激活将会更快,并且即使是在行进时,主要物体(所关心的区)也能够被跟踪。
在一个实施例中,所激活的功能包括为用户提供信号,指示图像离得太靠近而不清晰。
在一个实施例中,所激活的功能包括根据所测量的相对锐度对图像分辨率的改变。图像可以是数字图像。图像还可以是另一种图像,例如是出自相同的捕捉设备并且是在数字图像之后捕捉的图像。
例如,当在离捕捉设备太靠近的距离处拍摄图像时,降低分辨率,以实现全分辨率的锐利图像,选择最终的分辨率以便获得锐利图像。
在一个实施例中,所激活的功能包括:提供数据或信号用于数字图像的自动索引。
例如,如果图像包括处在小于给定界限的距离处并且尺寸超过某阈值的物体或对象,那么索引可以包括:提供信号以指示其涉及肖像或一群人。根据成像的场景是否包括一个或几个特写对象或物体,进行这两种情形之间的区分。如果对象或物体的距离超过预定界限,那么就可以认为图像表现风景。
在一个实施例中,所激活的功能包括:将数字图像之内的物体或对象的相对于捕捉设备的远程或方向数据提供给声音捕捉装置。
因此,在摄像放像机或照相手机中,可以确定主要物体或对象,确定这些主要物体的距离和/或方向,并且将声音捕捉聚焦到主要物体或对象上,这样一来就消除了背景噪声。使用两个麦克风和这些麦克风的信号之间的移相(dephasing)装置,可执行声音捕捉的方向性功能。
这种最新布置的具体应用是,在视频会议的情况下,对广角图像捕捉设备的使用和对讲话过程中物体的自动监视。
在一个实施例中,所激活的功能包括:用于背景的加强压缩的参数确定和用于主要物体或对象的压缩的参数确定,这样的主要物体或对象被确定为构成基于测量的相对锐度而遵守标准的图像区。
因此,在视频会议的情况下,例如,输出可被最小化,同时保持主要物体的令人满意的可视性。后者被确定为构成图像中离拍摄设备最近的部分,并且被不同地确定,如本申请中描述的那样。
在一个实施例中,捕捉设备包括具有像素的传感器,装备有至少两种类型的颜色滤波器,选择这样的滤波器使它们的光谱响应引起小的交迭。
在这样的状况下,两种颜色之间的锐度可被最大化,从而使相对锐度测量的精度最优化。
在一个实施例中,捕捉设备包括传感器,所述传感器具有主要用来生成图像的像素以及主要用来测量相对锐度的其它像素。
在一个实施例中,主要用来测量相对锐度的像素的光谱响应在光谱带内,其引起很小的与主要用来生成图像的像素的光谱带的交迭。
在一个实施例中,主要用来生成图像的像素的光谱响应在主要在对人眼可见的场内,而其它像素的光谱响应则具有在主要在对人眼可见的场外。
本发明还涉及如下限定的传感器,所述传感器与捕捉设备分开,并且与根据本发明的方法分开,如上面定义的那样。
本发明还涉及包括这样的传感器的捕捉设备,这样的捕捉设备也可与上面定义的方法分开使用。
根据可以与上面定义的布置结合(或分开)使用的布置,本发明还涉及数字图像捕捉设备,其包括传感器,一方面,所述传感器表示其光谱响应主要在对人眼可见的场内的像素和光谱响应主要在对人眼可见的场外的额外像素,另一方面,这样的传感器是这样的:出自这些额外像素的图像的部分表示捕捉设备和成像场景间的距离的至少一个范围内的锐度,其超过了出自光谱响应主要在可见场之内的像素的图像部分的锐度。
额外像素可以对红外和/或紫外线敏感。对紫外线敏感的像素可以用来改善用于短距离的锐度,而对红外线敏感的像素则可以用来改善用于较大距离的锐度。红外和/或紫外指的是可见光谱以外或以下的光谱的所有部分,特别地,是近红外如700到800nm或700到900nm,或者近紫外,在400nm附近。
在一个实施例中,捕捉设备装备有固定的镜头,亦即没有用于聚焦的机械元件。
在这些状况下,可以数字的方式来处理聚焦。
在一个实施例中,捕捉设备装备有具有可变焦距而没有移动式或灵活的聚焦元件的镜头,根据焦距和/或成像对象相对于设备的位置,图像的至少一个区域R上的至少两种颜色之间的相对锐度是可变的。
因此,获得了装备有较简单变焦的装置,从而减小尺寸和成本并增加可靠性。
具有可变焦距的镜头例如包括单个光学移动式或柔性单元。
可以知道,利用至少两个移动式单元来实施变焦,例如一个或两个用于焦距,而另一个则用于聚焦。一般而言,聚焦和焦距是彼此分开的,亦即,当焦距变化时,不一定改变聚焦。这消除了聚焦所需的时间。还存在具有可变焦距(称作变焦距)的镜头,成本较低,其中聚焦在焦距变化时必须改变。最后,存在无焦点的变焦,其中,以复杂方式链接的两个移动式光学单元用于改变焦距,而聚焦则由第三单元实施。
在一个实施例中,数字图像出自至少两个传感器。
例如,每个传感器专用于给定的颜色。例如可以使用三重CCD类型的传感器,在这些传感器上具有公共成像镜头。
在一个实施例中,所激活的功能包括根据数字图像上所测量的相对锐度,在图像里添加对象,和/或替换图像的一部分。
例如,该方法使得能够添加紧挨着主要物体的人。例如,还可以在图像内的给定位置处添加对象;如果考虑从成像场景直到这种位置的距离,这样的对象会在图像内具有恰当的尺寸。
还可以改变背景,乃至将其遮蔽(black out)。
还可以提取图像的一部分如主要物体,并且将其插在另一个图像(无论是自然的还是合成的类型)中,例如在游戏的环境中。
还可以在给定点和离场景固定的距离处,例如在主要物体后面,添加宣传数据。
在一个实施例中,该方法包括捕捉图像序列,数字图像是该序列的一部分,而所激活的功能针对的是该序列的至少一个其它图像。
因此,如已经描述的那样,在以较低分辨率拍摄照片之前,可对预可视化的图像进行相对锐度的估计,同时,例如通过利用根据对预可视化的图像进行的测量而进行的滤波器选择,可对已经存储的图像进行校正。
在一个实施例中,所激活的功能包括:对捕捉设备的一种调整进行改变,亦即焦距、孔径、用于聚焦的距离。
因此,拍摄设备可以包括自动调整程序,诸如如果主要物体位于背景前面,则增加孔径,从而使背景变得模糊。调整程序还可以使孔径自动适应一组物体的距离,以使景深适当,从而使该组中的全部物体清晰。还要注意的是,在这样的情况下,功能是自动实现的,而在现有技术中,它是手工实现的。
在一个实施例中,所激活的功能包括:生成改变的原始图像。
数字图像优选地是在“去马赛克”(亦即去除矩阵)之前来自传感器的原始图像。数字图像也可以是经过处理的,例如经历过白平衡。优选地是,数字图像未经历子采样。
这样,获得了光学系统、传感器和图像处理装置的单元,从而生成了展示更好质量或者具有特定特性例如景深扩展的原始图像,同时保持了与直接出自传感器的原始图像类似的特性,以及特别地与执行将原始图像转换成可见图像的已知功能块或部件(“图像管道”或“图像信号处理器”)的兼容性。
作为一个变体,原始图像经历去马赛克。在实施例中,捕捉设备的镜头表现高的纵向色差,例如,诸如对于给定的聚焦、孔径和焦距,存在至少一种颜色,针对涉及最佳锐度的距离低于以下:
k f 2 O . P
k为低于0.7的系数,优选地低于0.5,f为焦距,O为孔径,并且P具有位于无穷远的对象点的模糊斑点的最小(在图像的全部颜色之中)直径。
在一个实施例中,对两种颜色之间的相对锐度的测量通过以下实现:比较向第一颜色施加的第一测量M的结果与向第二颜色施加的第二测量的结果,每个测量M都提供一方面用于锐度和颜色、另一方面用于数字图像的内容的值函数,从而去除数字图像内容的比较。
用于相对锐度测量的限定和实施例例子:
通过使用对数字图像像素的测量M,来进行锐度的比较。
对于给定颜色C的通道,给定像素P中的测量M对应于P邻域内C的变化梯度。它经由以下计算获得:
对于给定的颜色C,V(P)记作像素P的邻域。
GM记作邻域V(P)内梯度幅度的平均值,而SM是GM和邻域V(P)内的梯度之间的差的幅度的平均。
通过相同颜色的两个像素的值之差的幅度来计算梯度。邻域V(P)内的梯度对应于指示邻域V(P)内预定数目的像素对的梯度。
对具有颜色C的像素P的测量M可通过SM和GM之间的比来定义。这样就获得了值M(P,C)。
这样的测量本身并不能精确和完全地表征颜色C的锐度。事实上,它取决于像素P的邻域V(P)内的图像内容(成像场景的类型=纹理、层次等等)。对于相同颜色锐度而言,在成像场景中的明确转变(franktransition),会生成比成像场景内的软转变(soft transition)更高的测量M。对于自然图像,在每种颜色中转变会以相同的方式存在,这样以颜色之间相同的方式影响测量M。换言之,当在颜色C上出现明确转变时,在其它颜色上出现相同类型的转变。
因此,对测量结果M的比较使得能够建立颜色C1和颜色C2之间的相对锐度。
在像素P中测量的两种颜色C1和C2之间的相对锐度例如可被定义为两个测量结果M(P,C1)和M(P,C2)之间的比较。这样一来,M(P,C1)>M(P,C2)就意味着C1比C2更锐利。
例如还可以使用以下公式中的一个:
M(P,C1)-M(P,C2),
M(P,C1)/M(P,C2),
或者适合于在两个测量之间进行比较的任何其它函数F(M(P,C1),M(P,C2))。
通过使用对区域R的全部像素P的测量M,可定义图像的区域R中的相对锐度。
图像的区域R中的相对锐度可以是针对区域R的像素P所测量的相对锐度的整个范围或局部范围。它也可以被定义为唯一值,诸如针对每一颜色对区域R的全部像素P的测量之和S。因此,对于两种颜色C1和C2,例如可以认为S(C1)>S(C2)意味着在区域R中C1平均起来比C2更锐利。
还可以使用可在这两个测量结果之间进行比较的任何其它函数G(S(C1),S(C2))。
在一个实施例中,当所激活的功能包括确定主要物体在图像内的位置时,所激活的功能进一步包括自动取景,亦即使主要物体在图像上居中。
该方法可以在图像捕捉或处理设备或装置内实施。这样的设备或装置包括在包括以下的组中:电子部件,其与传感器集成或不与其集成;电子子单元,其具有集成的镜头;传感器;以及可能还有图像处理模块(“相机模块”),或者如上面定义的那样的任何其它形式。
本发明的其它规格和优点将会在对其某些实施例的描述中示出,这样的描述由其附图支持,其中:
图1a和1b已被描述,是会聚透镜的纵向色差的说明图;
图2已被描述,是图像的颜色光谱图;
图3a和3b是示出根据本发明的使用相同锐利颜色的颜色锐度改善的示图;
图4是示出根据本发明的使用链接到图像不同区域的不同锐利颜色的颜色锐度改善的示图;
图5、6和7是示出根据本发明的使用链接到整个图像的不同锐利颜色的颜色锐度改善的示图;
图8是示出根据本发明的根据锐利颜色和将要改善的颜色之间的锐度之差来对设备进行伺服控制的示图;
图9是示出使用在对象和捕捉这个对象的图像的设备之间测量的距离来选择锐利颜色的示图;
图10是示出图像的至少一个区域内至少一种颜色的锐度降低的示图;
图11是通过根据本发明的方法获得的设备的简图;
图12是示出根据本发明的方法的步骤的示图;
图13示出了依照本发明的调整模式;
图14a和14b是示出在本发明的环境中使用的调整的一系列示图;
图15、15a和15b图示了传统设备以及根据本发明的图像捕捉设备的特性;
图16a到16d是示出标准设备以及根据本发明的设备的光学系统的性质的示图;
图17a和17b是示出根据本发明的设备的光学系统的选择示例的简图;
图18是图示根据本发明的拍摄设备的规格的示图;
图18.1和18.2示出了用于实施根据本发明的方法的装置;
图19.1、19.2和19.3示出了根据本发明的、根据几个实施例变体的方法的步骤;以及
图20.1和20.2示出了本发明的其它实施例。
根据本发明,通过从图像颜色中选择被称为“锐利颜色”的至少一种颜色,并且通过将锐利颜色的锐度反映到至少一种其它改善的颜色上,下述方法改善了数字图像的至少一种颜色的锐度,如图3a和3b所示。
更确切地说,图3a示出了两种颜色13.1和13.2的锐度(Y轴7.2),所述锐度取决于表示在所考虑图像中的对象相对于已捕捉该图像的设备的距离(横坐标轴7.1)。
如前所述,这两种颜色的锐度取决于这样的距离而以不同的方式变化,尽管基本上在这个例子中,第一种颜色展示的锐度13.2比同一图像的第二种颜色的锐度13.1好。
因此,根据依照本发明的方法,第一种颜色的锐度13.2被反映,以便实现对第二种颜色的锐度13.1的改善14,在这样的改善之后,所述第二种颜色表现出增加的锐度13.3。
在这样的例子中,CA、CO和CN分别为表示改善的颜色、原始颜色(或待改善的颜色)和锐利颜色的值。在这个例子中,锐利颜色是第一种颜色。原始颜色和改善颜色对应于处理之前和之后的第二种颜色。
根据以下类型的公式,通过使用滤波器F将锐度反映到第二种颜色上:
CA=CN+F(CO-CN)
典型地,滤波器F将展示从被施加了滤波器的图像中去除细节的特性。为了这样做,可使用线性低通滤波器(或平均器)。还可以使用具有去除细节的特性的众多已知非线性滤波器中的一种,例如中值滤波器。
在这个阶段,重要的是要注意,相对于图像的细节,人的视网膜对绿色特别敏感;因此,对光学系统的调整一般旨在相对于一定的聚焦范围来实现这种颜色的极大锐度(例如参见Addison Wesley编辑的Mark D.Fairchild的论文“Color Appearance Model”,第30-33页)。
因此,根据涉及本发明的观察,生成图像(所述图像的锐度对人眼而言不令人满意)的光学装置可表现其颜色中的一种如蓝色或红色的令人满意的锐度,相对于细节,眼睛对该颜色较不敏感。
典型地,对于长距离聚焦镜头(超焦距),当考虑表现特写对象和远景对象的图像时,远景对象的锐度一般用绿色增强,而特写对象的锐度则考虑蓝色来改善。
这样,重要的是,可取决于两种颜色之间的相对锐度,根据不同的锐利颜色来改善图像的区域。
因此,在本发明的一个实施例中,将选择锐利颜色,该锐利颜色用来根据图像的区域来改善颜色的锐度,这样的方法借助于图4在下面描述,图4图示了包括两个区域11.1和11.2的图像10。
在这两个区域中,可发现两种颜色8.2和8.3。然而,这些颜色的锐度(Y轴7.2)是这样的:在区域11.1中,颜色8.2是最锐利的,而在区域11.2中,颜色8.3则是最锐利的。
从此以后,通过将颜色8.3视为锐利颜色来改善区域11.2中的颜色,同时通过将颜色8.2视为锐利颜色来改善区域11.1中的颜色。
在这个阶段,应当注意的是,图像的区域可以是也可以不是预定的。例如,在数字图像由像素构成的情况下,区域可以是由一个或几个像素限定的空间区。
进而,可以通过以下来选择锐利颜色以便改善另一种颜色:简单地比较一种颜色相对于其它颜色的锐度,即使是至少一种其它颜色,而不管距离,如轴7.1表示的那样。
在这种情况下,这样的分析例如表示为下表:
区    11.1       11.2
锐度  8.2>8.3   8.3>8.2
在这种情况下,颜色8.2在区域11.1中被选择为锐利颜色,而颜色8.3则是区11.2中的锐利颜色。
不管图像中区域的使用,有益的是考虑各种锐利颜色以便改善图像中的颜色,如使用图5、6和7在下面描述的那样。
更确切地说,图5中的示图示出了取决于用于获得所述图像的捕捉场景的至少一个对象与捕捉设备之间的距离(7.1)的两种颜色8.2和8.3的锐度(Y轴7.2)。
看起来在范围9.1上,与颜色8.2相比,颜色8.3表现出增加的锐度,而对于更大的距离(范围9.2),则出现相反的情形。
在这样的情况下,根据本发明的方法可以在距离范围9.1内认为颜色8.3是锐利颜色,用来校正颜色的锐度,而在范围9.2之内,则认为颜色8.2是锐利颜色,以便改善出自目的是为了获得远离捕捉设备的图像的所捕捉场景的对象的颜色。
遵循这样的校正,如图6中所示,可在轮廓的方向上,即在图像中的最锐利颜色的并列的方向上,改善图像上的颜色的锐度。
可以清楚地看出,以与图4中所述的类似的方式,可以通过以下来选择锐利颜色以便改善另一种颜色:简单地比较一种颜色相对于其它颜色的锐度,即使是至少一种其它颜色,而不管距离,如用轴7.1表示的那样。
已经描述过的图3a、3b、4、5和6以及随后将要描述的图7-10中表示的锐度曲线,所述锐度取向根据图像的所考虑的区域的几何位置和/或其它图像捕捉参数(如焦距、孔径、聚焦等)而变化。
为了在本发明的意义内确定最锐利的颜色,不需要知道上面所示的参数。
在其它情况下,特别是在用于根据本发明来确定距离和/或用于控制景深的情况下,有必要知道某些参数以及锐度曲线,对于这样的参数的某些值,至少是部分地或近似地知道。
进而,对锐利颜色的选择也可通过至少一种图像捕捉模式如宏模式的软件激活来确定,如在下文中描述的那样。在这样的环境下,图像可以被认为是唯一的区域。
应当注意的是,图5和6中表示了阈值8.1,其指示所需锐度的水平,并且当锐度在该阈值之上时认为图像是模糊的。
在图7示出的标准处理中,这样的阈值8.1限定了景深,即用于获得所述图像的所捕捉场景的至少一个对象与捕捉设备之间的距离的范围9.2,使得对象的图像是锐利的。
本发明的结果从而能够扩展光学系统的景深,如下文借助于图9所述。在这个附图中,通过使用第二颜色8.3,增加了捕捉设备的景深,该景深最初受限于颜色8.2的锐度和锐度阈值8.1,所述第二颜色在用于获得所述图像的所捕捉场景的至少一个对象与捕捉设备之间的距离的新范围上表现了令人满意的锐度(在阈值8.1之下)。
具体地,这样的应用是在固定焦距的照相设备如照相手机中实施的。事实上,这些设备的光学概念允许基于绿色(类似于图5的颜色8.2)的、针对长距离(最多达几十厘米)的锐度范围。
进而,没有以相同的方式聚焦的蓝色在较短的距离可表现锐度,在短距离,绿色可能没有表现锐度,类似于颜色8.3。
从此以后,本发明能够通过以下来增加照相手机的特写图像的锐度:将蓝色的锐度加于绿色,并且加于其它颜色,从而增加设备的景深。
在借助于图8示出的尤其适合于装备有自动聚焦功能的捕捉设备的本发明的一个实施例中,该方法以用较少的步骤并从而更加迅速地实现聚焦的方式,通过使用捕捉图像的至少两种颜色的锐度来确定用于所考虑的捕捉设备的伺服控制指令。
例如,成像场景的至少一个对象和捕捉图像的光学系统1之间的距离17.1,可以使用与对象的图像相关的区域11.3中使用的颜色8.2和8.3的锐度(Y轴7.2)的不同水平来确定。
知道对象4与系统1之间的距离,从而可以确定用于捕捉设备6的伺服控制指令5。该图8将在下面更加详细地描述。
根据借助于图10示出的本发明的另一个实施例,锐度通过图像的至少一个区域中的至少一种颜色而降低。
宏应用
现在我们打算参考图5、6和7来描述根据本发明的一个实施例和系统,其特别适合于宏功能的实施,而不需要用于已知图像捕捉设备的专用机械装置。宏功能旨在使对象的图像实施在设备上被称作宏距离范围9.1的预定距离范围内接近捕捉设备。通常,捕捉设备能够移动全部或部分的镜头以便实施宏功能。本发明的方法或光学系统能够去除这样的移动。
根据本发明,例如通过以下来预先确定针对宏距离范围9.1的最锐利颜色:通过使用位于离捕捉设备不同距离处的对象来具体化数字图像,测量由捕捉设备为每种颜色获得的数字图像的颜色的锐度8.2和8.3。最锐利的颜色(图5)是对应于测量结果8.3的颜色。这样的预先确定能够明确地实施,例如在对设备(或一系列设备)进行设计时实施。
其后,当使用设备时,一旦激活宏功能,如此确定的锐利颜色的锐度就将被反映到其它颜色上,如上所述。当宏功能未被激活时,如施加到距离范围9.2那样,可通过标准方法或者通过使用根据本发明的方法,来计算数字图像的锐度。
由此,实现了宏功能,与固定聚焦的镜头兼容而没有任何移动式机制,这样不会改变图像捕捉设备的总体尺度,也没有增加硬件成本。因此,可以经由设备内或任何其它图像处理装置内的软件来激活宏模式。可以在图像捕捉之前,但是也可以在这样的捕捉之后,以标准的方式,并且在捕捉设备的本地或远程装置上,实现这样的软件激活。根据一个变体,例如,可以通过确定以正常模式生成的图像和以宏模式生成的图像之间的最锐利图像,来自动进行宏模式的激活。
根据本发明来实施的宏功能对于在捕捉数字图像时包括可变参数并且对颜色的锐度有影响的设备是有益的,特别是具有变焦的捕捉设备,和/或具有可变聚焦和/或可变孔径的镜头。这样,对应于根据数字图像的可变参数的值,锐度曲线8.2和8.3将被使用。
宏功能的添加使得能够通过使用图像捕捉设备、特别地的电话或拍照设备,来拍摄条形码、业务名片或含有手写的文本和/或简图。
景深扩展应用
现在我们打算参考图4、5、6和7来描述根据本发明的一个实施例和系统,其特别适合于景深的扩展,而不需要用于已知图像捕捉设备的专用机械装置。景深对应于场景的对象与图像捕捉设备之间的距离的范围,其使得能够获得锐利的数字图像。通常,捕捉设备的景深有限,并且景深越低,镜头孔径就越大。
根据本发明并且如图4中所示,数字图像被分解成区域11.1和11.2,例如分解成与紧接于传感器的9个敏感元件相对应的方形区域,或者更一般地,分解成对应于X×Y个敏感元件的区域,或者分解成预定形状的或根据数字图像计算的区域。对于每个区域将选择最锐利的颜色,例如,对应于通过以下获得的值中的最低值的颜色:通过使用对应于所考虑的颜色和区域的灰度级,来计算用于每种颜色的梯度。在图4中,对应于曲线8.3的颜色对于区域11.2较锐利,而对应于曲线8.2的颜色则对于区域11.1较锐利。
因此,对于每个区域,如此选择的锐利颜色的锐度被反映到其它颜色上。
参考图5,特写对象的数字图像——在距离范围9.1内,在捕捉设备上具有距离5——对于与曲线8.3相对应的颜色(例如蓝色)可被看作是锐利的,而对于与曲线8.2相对应的颜色(例如绿色)则较不锐利。还可以看到,远景对象的数字图像——在捕捉设备上具有包括在距离范围9.2内的距离——对于与曲线8.2相对应的颜色是锐利的,而对于与曲线8.3相对应的颜色则较不锐利。与蓝色相比,眼睛对绿色内的锐度敏感得多,将会察觉对应于图7的曲线8.5的锐度。如果8.1对应于眼睛的锐度的阈值,则图像将仅对离捕捉设备的距离包括在范围9.2内的对象是锐利的。图6经由曲线8.4表现了在利用根据本发明的方法之后在每种颜色中获得的锐度:对于位于距离范围9.1内的近对象,蓝色能够获得比阈值8.1好的锐度,而对于位于距离范围9.2内的远对象,绿色则能够获得比阈值8.1好的锐度。因此,对于大范围景深内的全部颜色,实现了锐利数字图像。
这是一个示例,包括根据预定规则选择最锐利的颜色、即在每个区域中选择最锐利的颜色。
因此,增加了景深,而没有增加光学系统的成本、复杂性或总体尺度,而且/或者不需要改变曝光,从而减少孔径、增加噪声水平或增加移动模糊。
根据本发明来实施的景深的增加特别有益于固定镜头、亦电话。景深的增加使得通过使用图像捕捉设备、特别是电话或拍照设备,不仅能够拍摄条形码、业务名片或含有手写的文本和/或简图,而且还能够拍摄肖像或风景。这可以不必使用昂贵的自动聚焦或宏功能。而且,与机械宏功能相比,这个功能是完全自动实现的,而无需用户干预。
根据本发明来实施的景深的增加也有益于在捕捉数字图像时包括可变参数并且对颜色的锐度有影响的设备,特别是具有变焦的捕捉设备,和/或具有可变聚焦和/或可变孔径的镜头。这样,对应于根据数字图像的可变参数的值,锐度曲线8.2和8.3将被使用。
这样,如借助于图11到17b在后面描述的那样,根据本发明的方法和功能能够在设计捕捉设备时,选择或设计聚焦位置的数目更加有限的镜头,这具有减少镜头设计限制并从而减少其成本的优点。这还具有通过减少伺服控制机制所需的精度而允许以更快和更小成本聚焦的优点。
例如,为了获得大景深镜头,可以选择或设计具有配备有针对每一种颜色的锐利距离范围的最广泛联合的规格的镜头。
例如,为了获得大孔径镜头,可以选择或设计具有配备有每一个距离范围内的单个锐利颜色的规格的镜头,并且使得针对每一种颜色的锐利距离范围的联合与所需的景深对应。
在另一个例子中,还可以使设备的孔径和图像的景深两者最优化。
还实现了一种能够减少数字图像的纵向色差的方法和功能。
还获得了一种能够增加图像的锐度而不用知道哪个捕捉设备用于产生该图像的方法和功能。
使用单个图像对场景的对象进行距离测量的应用
现在我们打算参考图8来描述根据本发明的一个实施例和系统,其特别适合于使用单个图像来测量场景的对象的距离,而不需要测距硬件测量装置。该方法从而能够获得对存在于数字图像的每个区域中的对象的距离估计。
通常,除了其它以外,捕捉设备使用硬件装置以基于激光、红外或预闪光机制来测量场景的对象的距离。
根据本发明并且如图8中所示,数字图像被分解成区域11.3,例如分解成与紧接于传感器的9个敏感元件相对应的方形区域,或者更一般地,分解成对应于X×Y个敏感元件的区域,或者分解成预定形状的或根据数字图像计算的区域。因此,对于每个区域11.3,测量至少两种颜色的锐度;这样的测量值或所测量的相对值16.1和16.2被反映到捕捉设备的相应锐度曲线8.2和8.3上。因此,获得了距离17.2,对应于对区域11.3中表示的对象4的部分与捕捉设备之间的距离17.1的估计。
根据本发明来实施的距离测量特别有益于固定镜头,即电话。
根据本发明来实施的距离测量也有益于在捕捉数字图像时包括可变参数并且对颜色的锐度有影响的设备,特别是具有变焦的捕捉设备,和/或具有可变聚焦和/或可变孔径的镜头。这样,对应于根据数字图像的可变参数的值,锐度曲线8.2和8.3将被使用。
因此,该方法能够获得对存在于数字图像的每个区域中的对象的距离估计。这使得能够:
-借助于生成图像和与图像相关联的远程数据的传感器和标准镜头,建立实时的和低成本的测距仪装置;通常,需要几次拍摄,或者需要专用的硬件装置,并且关联图像/远程数据是复杂的;
-例如,在图像上实时显示距离;
-例如,远程数据使得能够引导机器人;
-加速具有可变聚焦或焦距的捕捉设备的聚焦:事实上使用单个图像,可以确定要施加的伺服控制指令,以便获得例如在中央物体上或者在用户所选择的聚焦区中的所需聚焦;
-考虑场景的各个对象的距离,以便调整闪光灯的强度,特别是聚焦区中的主要物体或物体的距离;
-针对捕捉设备的自动曝光功能,考虑场景的各个对象的距离,例如,以便增强用户针对肖像所选择的聚焦区中的主要物体或物体;以及
-自动限定主要物体而不需要用户来限定。
与曝光无关的景深控制的应用
现在我们打算参考图4、5、6和7来描述根据本发明的一个实施例和系统,其特别适合于对景深的控制,而不需要用于已知图像捕捉设备的专用机械装置。因此,该方法使得能够获得针对与锐度范围相对应的远离捕捉设备的对象的锐利图像以及针对其它对象的模糊图像。通常,捕捉设备具有有限的景深,并且景深越低,镜头孔径就越大;因此,景深和曝光以这样的方式相联系:当在低照明中时,必须在景深、噪声和移动模糊之间进行选择。根据实施例,可以将曝光和景深分开控制。
根据本发明并且如图4中所示,数字图像被分解成区域11.1和11.2,例如分解成与紧接于传感器的9个敏感元件相对应的方形区域,或者更一般地,分解成对应于X×Y个敏感元件的区域,或者分解成预定形状的或根据数字图像计算的区域。对于每个区域将选择最锐利的颜色,例如,对应于通过以下获得的值之中的最低值的颜色:通过使用与所考虑的颜色和区域对应的灰度级,来计算每种颜色的梯度。在图4中,对应于曲线8.3的颜色对于区域11.2较锐利,而对应于曲线8.2的颜色则对于区域11.1较锐利。
因此,对于每个区域,如此选择的锐利颜色的锐度被反映到其它颜色上,如前所述。如在上面看到的那样,这样,对于大范围景深中的全部颜色,获得了锐利数字图像。
为了确定捕捉设备与数字图像的区域中的捕捉场景的对象之间的距离,将会使用:
-如前所述的每个区域的至少两种颜色的锐度;或者
-另一更加精确的距离测量方法或装置。
因此,在包含位于所需锐度范围以外的距离处的对象的区域和/或场所的部分中,例如,可通过使用高斯滤波器,或者通过使用模拟散景(bokeh)的滤波器,来降低锐度。例如对于肖像,可以获得模糊的背景,从而对脸进行增强,而不需要大孔径的镜头。例如对于风景,可能除了对于角落中的孤立对象之外,可以获得巨大的景深,所述孤立对象可有碍于对图像的理解。例如,对于特写对象在角落中因而取景不良的场景,这样的特写对象可能被模糊。例如景深的选择可以留给用户来判断,或者是在设备内,或者是在后处理期间的计算机上。
因此,景深得以控制,而不需要改变曝光,从而不用改变孔径,也不会增加噪声水平或增加移动模糊。
根据本发明来实施的景深的控制特别有益于固定镜头,即电话。景深的控制使得通过使用图像捕捉设备、特别是电话或拍照设备,不仅能够拍摄条形码、业务名片或含有手写的文本和/或简图,而且还能够拍摄肖像或风景。这可以不必使用昂贵的大孔径镜头装置。而且,这个功能可完全自动地实现,而无需用户干预。
根据本发明来实施的景深控制特别有益于包括移动式镜头的设备,特别是变焦系统的设备。见多识广的专家从而能够直接或间接地进行控制,而不管景深和曝光。
图11是图示一个图像捕捉或再生设备的结构的简图。
一方面,例如这样的用于捕捉图像的设备包括光学系统122,所述光学系统特别地具有一个或几个光学元件如透镜,用来在传感器124上形成图像。
尽管所述示例主要涉及电子类型的传感器124,但是这样的传感器可以是其它类型的,例如是通常所说的“含银”的设备中的照相胶片。
这样的设备还包括伺服控制系统126,其作用于光学系统122和/或传感器124以进行聚焦,以便在传感器124上捕捉到图像平面,和/或以使在传感器上接收的光量由于曝光和/或孔径时间的调整而是最佳的,和/或以便通过进行白平衡伺服控制使获得的颜色正确。
最后,该设备包括数字图像处理装置128。
作为一个变体,这样的数字图像处理装置是与设备120分开的。还可以将图像处理装置的一部分设置在设备120内,而一部分设置在设备120外。
在通过传感器124进行图像记录之后,对图像进行数字处理。
图像再生设备表现出与图像捕捉设备类似的结构。提供了图像生成器124’而不是传感器124,从而接收来自数字图像处理装置128’的图像,并且将图像提供给光学系统122’,如光学投影系统。
在下文部分中,当提到曝光的清晰度时,仅指图像捕捉设备。
根据可以与前面描述的方面分开使用的其各方面之一,利用装置128、128’的能力的本发明包括数字图像处理,用于确定或选择光学系统122、122’和/或图像传感器或生成器124、124’和/或伺服控制系统126的参数。
在图12的示图中示出了可利用设备部件中的每一个在它们与数字图像处理装置相关联时获得的性能的水平。这样的水平对于光学系统是以间断线130示出的,对于传感器以间断线132示出,对于伺服控制以间断线134示出,而对于设备则以间断线136来图示。
通过使用可用数字图像处理装置来获得的这样的性能水平,可以选择设备的部件中每一个的性能水平,在处理之前,设备的部件中每一个的性能水平显著低于应用处理装置之后所获得的性能水平。因此,光学系统的性能水平可设置在水平130’,而传感器和伺服控制系统的性能水平可分别设置在水平132’和134’。
在这些条件下,如果没有数字处理,设备的性能水平会处在最低水平,例如与光学系统的最低水平130’对应的水平136’。
数字图像处理装置优选地在以下文件中描述的那些:
-专利申请EP 02751241.7,标题为“Method and system forproducing formatted data related to defects of applications in a series ofappliances and formatted data destined for image-processing means”;
-专利申请EP 02743349.9,标题为“Method and system formodifying the qualities of at least one image originating from or destinedto a series of appliances”;
-专利申请EP 02747504.5,标题为“Method and system forreducing the frequency of updates for image-processing means”;
-专利申请EP 02748934.3,标题为“Method and system forcorrecting chromatic aberrations of a colour image produced by anoptical system”;
-专利申请EP 02743348.1,标题为“Method and system forproducing formatted data related to geometric distortions”;
-专利申请EP 02748933.5,标题为“Method and system forproviding,according to a standard format,formatted data toimage-processing means”;
-专利申请EP 02747503.7,标题为“Method and system forcalculating an image transformed using a digital image and formatteddata relating to a geometric transformation”;
-专利申请EP 02747506.0,标题为“Method and system forproducing formatted data related to defects of at least one apparatus in aseries,notably to blur”;
-专利申请EP 02745485.9,标题为“Method and system formodifying a digital image taking into account its noise”;
-专利申请PCT/FR 2004/050455,标题为“Method and systemfor differentially and regularly modifying a digital image by pixel”。
这样的数字图像处理装置能够通过激活以下参数中的至少一种来改善图像质量:
-光学系统的几何失真。可以知道的是,光学系统可使图像失真,使得矩形变形成每面为凸形的垫,或者变形成每面为凹形的圆柱。
-光学系统的色差:如果目标点用相对于彼此具有精确位置的三个有色斑点表示,则通过这些斑点相对于彼此的位置变化,所述色差发生变化,色差一般是这样的:离图像的中心越远,就越显著。
-视差:当通过光学系统的光学元件的变形或移动进行调整时,可移动在图像平面上获得的图像。所述调整例如是对焦距的调整或聚焦调整。
图13图示了这样的缺陷,其中,光学系统140用三个透镜来表示,其中,当透镜144占据连续线所表示的位置时,图像的中心占据位置142。当透镜144移动到用间断线表示的位置144’时,图像的中心在位置142’。
-景深:当光学系统聚焦在确定的对象平面上时,不仅这个平面的图像保持锐利,而且接近于这个平面的对象的图像也保持锐利。“景深”指的是图像保持锐利的最近对象平面和最远对象平面之间的距离。
-渐晕:图像的发光度一般在中心处最大,随着距中心距离增大而逐渐降低。通过具体点的发光度与最大发光度之间的差以百分比来测量渐晕。
-如在上面定义的那样,例如通过BXU参数来测量光学系统和/或图像传感器和/或生成器的锐度的缺乏。
-图像的噪声一般用其差的类型、其噪声斑点的形状和尺寸以及其色彩来定义。
-莫尔纹现象是在空间高频的情况下发生的图像变形。通过防混叠滤波器的参数确定来校正波纹。
-对比度是图像的细节仍然保持可见的图像最高和最低发光度值之间的比率。
如图14a和14b中表示的那样,可以改善图像的对比度(图14a),亦即,扩展(图14b)可区分细节的发光度范围。特别地通过使用对比度和噪声校正算法来进行这样的扩展。
参考图15,现在我们打算描述能够在图像场之内协调锐度的一个实施例。
首先,可以知道的是,对象平面的图像表面并不构成完美平面,而是表示被称为场曲线的曲线。这样的曲线取决于包括焦距和聚焦的不同参数而变化。因此,图像平面150的位置取决于在其上进行聚焦的区。在图15示出的例子中,平面150对应于图像的中心152处的聚焦。为了在图像边缘附近的区154上聚焦,与图像平面150相比,图像平面156更加接近于光学系统122。
为了简化聚焦伺服控制系统,将图像平面置于位置154(对应于在图像边缘附近的区上聚焦)和150(与在图像中心处的区上聚焦对应)之间中间的位置158。数字图像处理装置128与聚焦伺服控制126的联合使得能够限制用于聚焦的平面158的移动,从而减少伺服控制系统的能耗,并且能够减少其部件的体积。
图15a中的图示出了标准伺服控制聚焦系统的模糊特性,其中,在图像的中心处获得最大锐度。因此,在图15a中这样的示图上,横坐标表示图像的场,而纵坐标则表示用BXU来表示的模糊值。在使用这样的标准伺服控制系统的情况下,模糊测量在中心处为1.3,而在图像的边缘处则为6.6。
图15b是与图15a类似的示图,示出了在数字图像处理装置能够对高达等于14的BXU值的模糊进行校正的假定之下、用于根据本发明来实施的设备的伺服控制的特性。这样,图15b这个示图中表示的曲线表示:在图像的中心处,BXU值=2.6,随着从中心离开,BXU值降低,而在图像的边缘附近,BXU值再次增加达到值4。可以知道的是,这样的值是对通过数字处理装置来实现对模糊的校正的限制。因此,在整个图像场上可获得锐利图像,而使用装备有标准系统的设备则不会这样。
在一个实施例中,数字图像处理装置包括用于改善锐度的装置,使得它们能够避免使用聚焦伺服控制。
作为可比较的例子,图16a、16b、16c和16d中的示图示出了根据现有技术获得的设备的规格以及使用根据本发明的方法获得的设备的规格。
标准装置是与具有VGA传感器、亦即640×480的分辨率的移动电话集成在一起而没有聚焦系统的数字照相设备。
标准设备具有2.8的孔径,而使用根据本发明的方法获得的设备则具有1.4的孔径。
图16a对应于标准设备,在所述示图上,横坐标表示图像场的百分比,其原点对应于图像的中心。纵坐标表示渐晕V。图16b是类似的示图,示出了根据本发明获得的设备。
在图16a(标准设备)的示图中,在图像的边缘处渐晕的值为0.7,而在图16b的示图中则可以看到根据本发明的设备的光学系统表现出更加显著的渐晕,即近似0.3。对所使用的算法,校正限制是0.25。换言之,由于校正算法,可以使用更加显著的渐晕光学器件。
图16c是表示根据用于标准设备的图像场(用横坐标表示)的用BXU表达的模糊纵坐标的示图。使用这样的标准设备,模糊规格在中心处为1.5,而在图像的边缘处则为4。
图16d中的示图也表示了使用根据本发明的方法获得的设备的光学系统的模糊。在图16d的示图中,图像的场也用横坐标表示,而模糊用以BXU表达的纵坐标来表示。图16d这样的示图示出,图像的中心处的模糊近似为2.2。它因此高于图16c中示图的模糊。然而,考虑到对校正算法的限制,在边缘上,模糊被选择在3的附近。
换言之,令人惊讶的是,在中心处针对锐度选择了渐变镜头(gradation lens),但是有可能获得与在使用另外具有更大孔径的标准设备时相同的结果。还要注意的是,在边缘上,根据本发明的设备的光学系统表现了与标准光学系统类似的质量,这样的结果可能是由于与标准镜头相关的渐晕渐变所导致的。
图17a和17b中的示图表示了不同光学系统的规格,必须在它们当中进行选择,以便通过使用根据本发明的方法来实施捕捉设备。
在图17a表示的例子中,光学系统提供了具有小尺度的图像斑点1100。这样的系统示出了调制传递函数(MTF),该MTF用其中空间频率为横坐标的示图来表示。截止频率的值为fc。该MTF函数包括在零频率附近的台阶1110和朝向fc值迅速下降的部分。
图17b中示图所表示的光学系统示出了尺度比图像斑点1100显著更大的图像斑点1114,其中它的MTF示出了与图17a的情况相同的fc截止频率。然而,取决于空间频率的这个MTF的变化是不同的:这样的频率从其原点朝向截止频率向下以相对平稳的方式降低。
对光学系统的选择基于以下事实:调制传递函数的校正算法从0.3的值起有效。在这样的条件下,我们注意到,通过使用图17b中的光学系统,校正能够将MTF增加达到值f2(例如近似0.8fc),而通过使用图17a中的光学系统,校正仅可以到0.5fc的范围内的频率f1
换言之,使用校正算法,图17b中表示的光学系统提供了比图17a中表示的光学系统更多的细节,而与以下事实无关:图像斑点具有比图17a的情况下更大的尺度。因此,我们将会选择对应于图17b的光学系统。
景深增加的应用
现在我们打算描述所述方法的一个实施例变体,对其而言,传感器和/或光学系统更加适合于增加景深。
CMOS或CCD标准传感器常常是使用被称为“拜耳(Bayer)”的像素马赛克形成的传感器。拜耳马赛克包括连续的2×2像素,其由2个绿色像素(亦即对大约550nm的光谱范围内的光敏感的光感应单元(photosite))、一个红色像素(大约600nm的光谱范围)以及一个蓝色像素(大约450nm的光谱范围)形成。光谱范围在图2中示出。
取决于传感器,绿色、红色和蓝色的光谱带是不同的,表现出或多或少显著的交迭。这三个带之间的显著交迭有减少传感器对颜色的敏感度的效果(它变成了“色盲”),但是增加了它对光的总体敏感度,反之亦然。
这三个带之间的交迭还减少了颜色之间的锐度差,这样就特别地减少了距离的范围,对所述距离而言三种颜色中的至少一种是锐利的。
因此,有利的是,根据本发明,可以例如通过减少光谱带的交迭来对光谱带进行调整,以便增加距离的范围,对所述距离而言三种颜色中的至少一种是锐利的。
这样的调整也可以结合光学系统的设计并且根据施加于图像的数字处理上的约束来实施。
使根据本发明的方法最优化的传感器的描述
在方法的一个实施例变体中,传感器和/或光学系统更加具体地适合于能够为成像对象提供精确距离指示的应用。
在这个实施例变体中,我们将使用拜耳像素马赛克。
一般来说,传感器表示提供异常数字值的相当数目的像素。这些像素通常被称作“烧毁的像素(burned pixel)”(或“像素死者”,亦即法语中的“死像素”)。因此,图像生成数字处理包含针对这些异常值的滤波步骤,以便从生成的图像中消除这些像素的异常值以使它们不可见。
根据本发明的距离测量的精度特别地取决于相对锐度的变化,所述相对锐度取决于距离。这样的变化取决于可以用捕捉系统(传感器和光学系统)获得的色差的量。已经说过,用于可见光(从而可用于照相的光)的光谱频率范围是相对有限的:约400nm到700nm。因此,取决于距离的相对锐度变化这样一来在使用标准拜耳传感器时就变得有限了。
有几种可能的方式来改变传感器以超过这样的限制。一种简单的方式包括:除了红色、绿色和蓝色的标准颜色外,还使用不同的光谱带,亦即800nm-900nm的带或者在可见光谱之上和/或之下的任何其它带。对这样的第四光谱带敏感的像素对于可见图像的重建不一定是有用的,而是主要用来:通过将这个第四光谱带上的相对锐度与三种标准颜色中的一个或几个相比较,估计对象的距离。
因此,将可以利用以下方式来有利地布置像素:通过脱离标准的红色、绿色、蓝色拜耳布局,全部的N×M个像素和若干其它像素将被在这样的第四光谱带内敏感的像素所代替。通过以相当大的因子(例如每个64)来选择N和M,并且通过代替9个像素,我们因此可以确保仅标准拜耳模式下的约千分之一的像素受影响。因此,在图像的建立期间,这样的像素将会被认为是“烧毁的像素”,它们的值被过滤掉。
由此,获得了这样的照相设备,其使得能够提供图像的每N×M个像素的成像对象的更加精确的距离指示。
使根据本发明的方法最优化的第二传感器的描述
在图20.2示出的另一个实施例中,我们脱离了标准的拜耳布局,其中,提供了三个像素R、G、B和对应于UV或红外光谱带的一部分的一个像素U。红外和/或紫外指的是可见光谱以外或以下的光谱的所有部分,特别地为近红外如700到800nm或700到900nm,或者近紫外,在400nm附近。这样的像素U用于改善可见颜色的锐度,如图20.1的示图中示出的那样。
在这个示图上要注意:用捕捉设备成像的对象的距离“d”是横坐标,而模糊斑点的直径“D”则是纵坐标。曲线20.3、20.4、20.5和20.6分别表示用于红色“R”、绿色“G”、蓝色“B”和紫外“U”的取决于距离“d”的直径“D”的变化。直线20.7表示限定景深的锐度的阈值。
因此,距离“d1”表示捕捉设备的景深的限制,包括“RGB”像素但不包括U像素,同时使用了根据本发明的用于改善锐度的方法。距离“d2”表示用捕捉设备获得的景深的限制,所述捕捉设备包括图20.2中表示的传感器,并且使用了根据本发明的用于改善锐度的方法。“U”像素仅仅用来针对位于距离“d1”和“d2”之间的那些对象将“U”颜色的锐度反映到“RGB”颜色上。因此,最终的图像将仅包括三种“RGB”颜色(或任何其它已知的可见光范围)。
作为一个变体,将添加对近红外敏感的像素,以便改善更大距离上的锐度。
纵向色差的增加
根据本发明,利用了取决于对象距离的两种颜色之间的相对锐度变化的存在。因此我们能够设计这样的光学器件,其表示取决于距离的三种非常不同的颜色平面之间的相对锐度。这样的光学器件表现出高的纵向色差。
在实际的意义上,例如可以设计光学系统,以便在大范围的距离上:来自三种颜色之中的最小的斑点示图直径(模糊斑点的直径)在第一预定阈值之下,并且来自三种颜色之中的最大的斑点示图直径在第二预定阈值之下。可替选地,可以使用BXU值而不是斑点示图的直径。
例如,一方面根据用于生成图像的数字处理的能力和约束(例如在下面描述的滤波器“F”的尺寸),另一方面根据传感器的规格,来确定两个阈值。
图18示出取决于用于以这种方式设计的镜头的距离(横坐标轴)的针对三种RVB颜色平面的BXU测量(Y轴)的例子。示出的值是处在图像场的中心的值。对于图像场的每个点,可测量不同(尽管类似)的曲线。S1和S2指示上述的两个阈值。因而,遵照上述两个标准的距离的范围对于这个镜头是近似12cm至无穷大(在图18中d1→无穷大),这意味着对于在这样的距离范围内成像的场景可以重建锐利图像。
使用标准镜头会导致三条曲线,接近于图18中红色R的曲线,并且这样在光学系统中就只能重建位于远距离、25cm至无穷大(在图18中d2→无穷大)的对象的锐利图像。
因此,还可以使用具有纵向色差的镜头,对于给定的聚焦、孔径和焦距,存在至少一种颜色,针对该颜色,涉及最佳锐度的距离低于:
k f 2 O . P
k为小于0.7的系数,优选地低于0.5,f为焦距,O为孔径,并且P具有位于无穷远的对象点的模糊斑点的(在图像的全部颜色之中)最小直径。
自动分辨率适应的应用
现在我们打算描述本发明的一个实施例变体,其能够使图像的分辨率自适应可能的模糊,所述模糊与超过捕捉设备景深的拍摄关联。
当成像场景太靠近(在景深之下)时,图像被模糊化,亦即,斑点示图(模糊斑点)占据了直径为X个像素的另一斑点,X是限定景深限制的预定直径。对图像的数字子采样(缩小)会使模糊斑点的尺寸降低这样的因子,所述因子取决于所使用的子采样的类型,尽管一般在所考虑的子采样因子的尺寸范围内。因此,能够利用数字图像来生成锐利图像,尽管该数字图像的分辨率较低,通过选择子采样因子,使得一旦该图像经历了子采样,模糊斑点在给定阈值较低。
作为一个变体,为了使计算量最小,我们将在根据本发明来增加锐度之前,从子采样开始,如上所述。
改变锐度的应用-滤波
就距离测量(图8)而言,可以使用两种颜色平面之间的相对锐度测量来从数字图像的每种颜色中提取期望的锐度。
根据本发明的一个实施例,处理包括:借助于混合每个像素预定邻域内像素值的滤波器,对区Z’的每个像素进行锐度改变,滤波器参数取决于所测量的相对锐度。
事实上,装备有镜头的图像捕捉装置将会根据颜色平面并且根据成像对象的距离来示出不同的锐度。锐度(或模糊)取决于成像对象的距离的事实使得不可能通过使用预定处理(如对预定锐度的滤波)来增加锐度。
本发明的一个实施例变体在于:选择滤波器或者使锐度滤波器适应于所测量的相对锐度。
已经描述的滤波自适应或锐度改变的具体实例包括:将锐利颜色的锐度反映到至少一种其它改善颜色上,这样的反映是通过使用CA=CN+F(CO-CN)类型的计算来实现的,其中,CA表示改善的颜色,CO表示处理之前的改善的颜色,CN表示锐利颜色,而F则表示滤波器,亦即低通滤波器。
然而,在更加一般的方式下,可以使用涉及全部(或全部的分组)颜色的锐度滤波器。因此,在用于处理像素P的值的数字图像RGB(或RVB)的情况下,取决于全部三种颜色上像素P的邻域内的像素的值,滤波器M可以改变像素P的值。
例如,通过注意RN、GN、BN(其为与数字图像的红色、绿色和蓝色相关的数字数据)以及RA、GA、BA(其为与改善图像的颜色相关的数字数据),可以选择滤波器M,诸如采取以下运算的算式:
GA=GN+c_GG*M_GG(GN)+c_GR*M_GR(RN)+c_GB*M_GB(BN)
RA=RN+c_RG*M RG(GN)+c_RR*M_RR(RN)+c_RB*M_RB(BN)
BA=BN+c_BG*M_BG(GN)+c_BR*M_BR(RN)+c_BB*M_BB(BN),
其中:
M_{R,G,B}{R,G,B}表示滤波器,其可被选择,如具有零和的线性滤波器,例如高通频率滤波器。c_{R,G,B}{R,G,B}表示平衡每个滤波器M_{R,G,B}{R,G,B}的影响的系数。
这样的滤波例子也可以将最锐利颜色的锐度反映到其它颜色上。例如,假定只有蓝色是锐利的,高通滤波器M_{R,G,B}{R,G,B}在施加于在这个例子中模糊的绿色和红色时提供0附近的值。在这个具体的实例中,GA从而等于GN加上c_GB*M_GB(BN),亦即GN加上蓝色的高频。绿色从而继承了锐利颜色(蓝色)的锐度。这同样适用于红色。
实际上,颜色的锐度不是二进制因子;因此,滤波器M_{R,G,B}{R,G,B}和系数c_{R,G,B}{R,G,B}可以适应于颜色锐度的各种可能值。
在出自给定捕捉设备的RGB图像的环境下,这样的适应的一个实施例例子如下:
相对于绿色考虑红色的相对锐度值;同样地蓝色也是相对于绿色:V_GR,V_GB。这样的值被量化,以便如此量化的值构成合理尺寸的2D表中的条目。对于每个条目(量化值对V_BR、V_BG),一组滤波器M_{R,G,B}{R,G,B}以及一组适应的系数c_{R,G,B}{R,G,B}被关联。在我们设法改善数字图像的锐度的具体情况下,对每个条目,可以预先确定滤波器M_{R,G,B}{R,G,B}和一组系数c_{R,G,B}{R,G,B},以便确保:通过滤波器M的应用,完美地校正由捕捉设备拍摄并且具有对应于条目的相对锐度的数字图像的锐度。
还可以使滤波器M细化,以便考虑以下事实:三种颜色不会在大范围内以相同的方式变化,尤其是在数字图像的有色区(与黑色、灰色或白色区相对)中。对此,例如,在区Z’的每个像素P中,可通过增加像素P的邻域内的颜色的相对变化,抵消滤波器M_{R,G,B}{R,G,B}的作用。
在一定情况下,所考虑的相对锐度和一组滤波器之间的关联表可以包括其它条目,例如:区Z’在图像场内的位置;或者拍摄的参数,如焦距、孔径、聚焦距离等的值;以及光学系统在拍摄期间的参数。事实上,数字图像的锐度规格一般也取决于这些因素。
因此,为了校正数字图像的锐度,图像场将首先被分成几个区Z’,并且该方法将被应用于某个区中。优选地,根据颜色的锐度规格进行划分,以便每个区中的颜色的锐度展现出一定的协调。
使用这个实施例,可获得锐度滤波的自动适应,所述锐度滤波施加于数字图像并且施加于成像场景和捕捉设备之间的距离。还要注意的是,通过使用相对锐度,可进行对距离的自动适应,而不用明确知道这样的距离。
除了数字图像的锐度改变之外,这样的方法实施例还使得所述处理的自动适应成为可能,例如,所述处理旨在校正光学和/或传感器缺陷,它们对图像的影响取决于成像场景和捕捉设备之间的距离。模糊(或锐度的损失)是一个例子,而其它的光学和/或传感器缺陷,如几何失真或渐晕,是其它的例子。
本发明的原理
图19.1、19.2、19.3的描述
图19.1、19.2和19.3示出了根据几个实施例模式的根据本发明的方法的步骤。
图19.1示出包括区域R并且具有两种颜色195和196的图像10、图像10的区域R内的两种颜色195和196之间的相对锐度的测量190以及取决于所测量的相对锐度而激活的功能191。作为一个选择,所激活的功能取决于模式193,其例如对应于由设备的用户所进行的选择,和/或捕捉设备在拍摄期间的规格。
图19.2示出包括区域R并且具有两种颜色195和196的图像10、图像10的区域R之内的两种颜色195和196之间的相对锐度的测量190以及取决于所测量的相对锐度而激活的功能191,该功能包括对图像10进行处理并且生成经处理的图像192。作为一个选择,所激活的功能也取决于模式193,其例如对应于由设备的用户进行的选择,和/或捕捉设备在拍摄期间的规格。
图19.3示出了包括区域R并且具有两种颜色195和196的图像10、图像10的区域R之内的两种颜色195和196之间的相对锐度的测量190以及取决于所测量的相对锐度而激活的功能191,该功能包括对另一个图像194进行处理并且生成经处理的图像198。作为一个选择,所激活的功能也取决于模式193,其例如对应于由设备的用户进行的选择,和/或捕捉设备在拍摄期间的规格。
对比度和/或亮度和/或颜色和/或锐度的改变的应用
现在我们打算描述本发明的一个实施例,其中,功能激活包括:取决于图像的至少一个区域R内的至少两种颜色之间的相对锐度,修改图像对比度和/或发光度和/或颜色。
使用图像的至少一个区域R中的至少两种颜色之间的相对锐度,直接或间接地(例如使用用于估计场景在3维下的几何形状的步骤),例如使得能够模拟对局部照明的添加,如置于场景中任何地方的闪光灯,和/或相反地,降低场景内各种颜色的闪光或照明的效果。因此,可以降低与闪光关联的光的逆光和平渲效应。
在一个实施例中,取决于至少两种颜色之间的相对锐度将数字图像分成区域,以便场景的一部分中的每个图像区域都位于给定距离的范围内,并且以给定的方向来取向。通过使用相对锐度在图像中的局部变化,可获得方向的指示。通过使用相对锐度,可获得距离的指示,如上所述。还可以直接使用相对锐度及其变化,而不用理会距离和取向。
为了添加或修改照明,可以为每个区域确定要针对每个点添加或去除的光的量和颜色,因为相对于成像点到模拟源的距离是已知的,如成像对象相对于源的取向那样。
在一个实施例中,通过经由图像中的大量点来测量距离,重构场景在三维下的几何形状。因此,我们将使用图像合成领域中的已知技术用于向场景添加照明(射线造型或其它)。
在一个实施例中,向主要物体或物体添加照明,如适合于每个物体,以便造成“填充”效应,模拟位于每个物体侧或与其相反的一个或几个闪光灯。对每个物体可自动和独立地实施这种操作。在使用已知技术的情况小,只有经由摄影棚照明才可能为每个物体添加照明。
类似地,可以根据最近的物体来确定闪光灯的强度,目的是为了正确地照射它,然后通过添加模拟照明来完成其它物体上的照明。
还可以经由用于估计白平衡的已知方法为每个区域确定照明的颜色,然后使场景照明的颜色一致。在现有技术中,由于缺乏有关场景的3维几何形状的信息,通常对白平衡进行估计。
图18.1和18.2的描述
图18.1示出传感器2,其生成原始图像180,所述原始图像180经历预处理,例如白平衡和/或黑色水平补偿和/或噪声减少,以便生成经预处理的图像182。还示出了相对锐度测量190,其激活功能191,所述功能191对应于实现经预处理的图像182和相对锐度的测量190的过程,以便生成经处理的图像192。最后还示出了对经处理的图像192的下游处理,例如对应于去马赛克或用于转换可见原始图像的其它必要处理。
图18.2示出了传感器2,其生成原始图像180。还示出了相对锐度测量190,其激活功能191,所述功能191对应于实现原始图像180和相对锐度的测量190的过程,以便生成经处理的图像192。最后示出了对经处理的图像192的下游处理,例如对应于去马赛克或用于将原始图像转换成可见图像的其它必要处理。
在一个变体中,该功能对可见图像实施处理。
光学器件的简化
本发明适用于在捕捉数字图像时包括可变参数并且对颜色的锐度有影响的设备,特别是具有变焦的捕捉设备,和/或具有可变聚焦和/或可变孔径的镜头。这样,将使用锐度曲线8.2和8.3,对应于根据数字图像的可变参数的值。
如描述的那样,本发明使得能够以数字的恢复聚焦而不用移动式单元并且没有延迟,这样,通过去除至少一个移动式部分而减少了变焦的复杂性。例如,根据焦距及物体的距离,两种颜色之间的相对锐度可以是可变的,而这在已知的光学系统中是不可接受的。

Claims (76)

1.一种用于通过利用对至少一个数字图像进行的测量来激活功能的方法,所述至少一个数字图像具有至少两种颜色并且源自图像捕捉设备,其中:
-在所述图像的至少一个区域R上的至少两种颜色之间,测量相对锐度;以及
-取决于所测量的相对锐度,激活至少一个功能。
2.根据权利要求1所述的方法,其中,所激活的功能包括在包括以下的组中:
-对所述捕捉设备和通过所述数字图像而成像的至少一个对象之间的距离的确定,和/或对两个成像对象之间的相对距离的确定,
-根据所述距离和/或所述相对距离的动作,
-对另一数字图像和/或所述数字图像的至少一个区Z’的处理,
-所述捕捉设备的伺服控制和/或另一设备的伺服控制,
-向用户提供指示和/或报警和/或警报信号,
-对所述图像的一部分的检测,
-颜色锐度的改变,
-所述捕捉设备的位置和/或移动的确定,
-所述图像内物体位置的确定,
-至少一个图像规格的改变,
-所述图像全部或部分的改变,
-所述图像内所关心的区的确定,特别是为了提供伺服控制信号,
-所述图像全部或部分的分辨率的改变,
-与所述图像相关的数据的提供,
-向声音捕捉装置提供数据,
-压缩的参数确定,以及
-针对所述捕捉设备的至少一个调整。
3.根据权利要求1或2所述的方法,其中所激活的功能包括:对另一数字图像和/或所述数字图像的至少一个区Z’的处理,并且其中所述区Z’构成数字图像区域的全部或部分,和/或整个数字图像,和/或与所述数字图像区域分开的区,和/或另一数字图像,和/或另一整个数字图像。
4.根据权利要求3所述的方法,其中针对其来激活处理的所述区Z’包括图像的至少一个像素,并且其中所述区域R包括所述数字图像中的相应像素的预定邻域。
5.根据权利要求4所述的方法,其中,所述处理被应用于图像的全部像素。
6.根据权利要求3至5中之一所述的方法,其中,对至少所述区Z’的处理包括:改变包括在以下组中的至少一个规格,所述组包括:锐度、对比度、发光度、细节、颜色、压缩类型、压缩比率、图像内容、分辨率。
7.根据权利要求3至6中之一所述的方法,其中,所述处理包括:借助于滤波器来改变所述区Z’中的每个像素的锐度,所述滤波器混合附着到每个像素的预定邻域内的一个或多个像素的值,所述滤波器的参数取决于所测量的相对锐度。
8.根据权利要求3至7中之一所述的方法,其中,通过利用所测量的相对锐度来确定所述区Z’。
9.根据权利要求3至8中之一所述的方法,其中,所述区Z’构成图像的背景,特别是用于尤其是通过可见或视频会议系统的远距离传输。
10.根据权利要求3至9中之一所述的方法,其中,所述处理包括:为所述区Z’的全部或部分像素提供取决于所述成像对象和所述捕捉设备之间的距离的数据,并且其中,激活对取决于所述距离的这些数据的存储和/或传输和/或使用,所存储的数据特别地保存在数据处理文件中,即图像文件中。
11.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:所述捕捉设备的伺服控制,如用于聚焦的伺服控制和/或用于曝光的伺服控制和/或用于闪光的伺服控制和/或用于图像取景的伺服控制和/或用于白平衡的伺服控制和/或用于图像稳定的伺服控制和/或用于链接到所述捕捉设备的另一个设备或装置的伺服控制,如对机器人的引导。
12.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:向所述捕捉设备提供信号,如聚焦区和/或数字图像的主焦点的指示信号、和/或成像场景的至少一个部分的距离的指示信号。
13.根据前述权利要求中之一所述的方法,其中,所激活的功能取决于所述捕捉设备在拍摄期间的至少一个规格:即焦距、孔径、聚焦距离、曝光参数、白平衡参数、分辨率、压缩或由用户进行的调整。
14.根据前述权利要求中之一所述的方法,其中,所述数字图像构成出自所述捕捉设备的传感器的原始图像。
15.根据前述权利要求中之一所述的方法,其中,所述测量在所述捕捉设备内进行,和/或所激活的功能在所述捕捉设备内进行。
16.根据前述权利要求中之一所述的方法,其中,所述测量在所述捕捉设备以外进行,例如在传递图像之后在计算机上进行,和/或其中功能是在所述捕捉设备以外激活的。
17.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:对所述图像的部分的检测和/或识别的激活,如对脸的检测和/或识别。
18.根据前述权利要求中之一所述的方法,其中,所述测量包括:对第一颜色和被称为其它颜色的至少第二颜色之间的相对锐度的测量,并且其中所述激活包括:取决于所述第一颜色的锐度来改变所述其它颜色的锐度。
19.根据权利要求18所述的方法,其中,改变所述其它颜色的锐度通过以下来实施:使用CA=CN+F(CO-CN)类型的计算,其中,CA表示其它改善的颜色,CO表示处理之前的其它颜色,CN表示所述第一颜色,而F则表示滤波器,即低通滤波器。
20.根据权利要求18至22中之一所述的方法,其中,改变所述其它颜色的锐度的是对锐度进行改善,所述第一颜色被称为“锐利颜色”。
21.根据权利要求20所述的方法,进一步包括以下步骤:将所述数字图像分解成多个区域(11.1,11.2),为每个区域选择一个锐利颜色。
22.根据权利要求20或21所述的方法,所述捕捉设备包括宏模式,其中选择所述锐利颜色的方法取决于所述宏模式的激活。
23.根据权利要求18或19所述的方法,其中,降低至少一个图像区内的至少一种颜色的锐度。
24.根据前述权利要求中之一所述的方法,其中,所述数字图像出自包括镜头的捕捉设备,所述方法进一步包括以下步骤:从一系列的预定镜头中选择镜头,所述镜头展示了如此的规格,使得具有至少两个不同的预定距离的对象图像展示不同的锐度的颜色,从而改善景深并降低所述镜头的成本。
25.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:对所述捕捉设备的位置和/或移动的测量。
26.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:对所述图像中的一个或多个主要物体的位置的确定。
27.根据权利要求26所述的方法,其中,所激活的功能进一步包括:与所述数字图像的主要物体相关的所述数字图像和/或另一个图像的自动取景,即取中、变焦或重新取景。
28.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:根据所述相对锐度并根据用户选择来施加处理。
29.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:根据图像内的相对锐度的变化,改变所述图像的对比度和/或亮度和/或颜色和/或锐度。
30.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:将所关心的至少一个区的位置提供给曝光和/或白平衡和/或聚焦的伺服控制,这种所关心的区是通过比较至少两个相对锐度的测量来确定的。
31.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:向用户提供信号,指示图像太靠近而不能拍摄得锐利。
32.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:根据所述相对锐度来改变图像分辨率。
33.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:提供信号用于所述数字图像的自动索引。
34.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:将所述数字图像的物体或对象的相对于所述捕捉设备的远程或方向数据提供给声音捕捉装置。
35.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:用于背景的增加的压缩的参数确定和用于一个或多个主要物体的降低的压缩的参数确定,这样的一个或多个主要物体被确定为遵守基于所测量的相对锐度的准则的图像区。
36.根据前述权利要求中之一所述的方法,其中,所述设备包括传感器,所述传感器具有装备有至少两种类型的颜色滤波器的像素,对所述滤波器进行选择,以使它们的谱响应引起很小的交迭。
37.根据前述权利要求中之一所述的方法,其中,所述设备包括传感器,所述传感器具有主要用来生成图像的像素以及主要用来测量相对锐度的其它像素。
38.根据权利要求37所述的方法,其中,主要用来测量相对锐度的所述传感器的像素具有在一光谱带内的谱响应,所述光谱带引起小的与主要用来生成图像的传感器的像素的光谱带的交迭。
39.根据权利要求37或38所述的方法,其中,主要用来生成图像的所述传感器的像素具有主要在对人眼可见的场内的谱响应,并且其中所述其它像素具有主要在对人眼可见的场以外的谱响应。
40.根据前述权利要求中之一所述的方法,其中所述捕捉设备包括传感器,所述传感器包括主要在对人眼可见的场内的谱响应像素和具有主要在对人眼可见的光谱以外的谱响应的额外像素,并且其中,在所述捕捉设备和成像场景之间的至少一个距离范围内,出自这些额外像素的图像部分的锐度超过主要在对人眼可见的场内的响应像素所提供的图像部分的锐度。
41.根据前述权利要求中之一所述的方法,其中,所述设备装备有:没有用于聚焦的移动式或柔性元件的镜头。
42.根据前述权利要求中之一所述的方法,其中,所述设备装备有:具有可变焦距而没有用于聚焦的移动式或柔性元件的镜头。
43.根据前述权利要求中之一所述的方法,其中,所述设备装备有:具有可变焦距并且具有单个移动式或柔性光学器件组的镜头。
44.根据前述权利要求中之一所述的方法,其中,所述数字图像出自至少两个传感器。
45.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:根据在所述数字图像上所测量的相对锐度,在图像内添加对象,和/或替换图像的一部分。
46.根据前述权利要求中之一所述的方法,其中,所述捕捉设备捕捉图像的序列,所述数字图像是所述序列的一部分,对所述序列的至少一个其它图像进行动作。
47.根据前述权利要求中之一所述的方法,其中,所激活的功能改变对所述捕捉设备的至少一种调整:即焦距、孔径、用于聚焦的距离。
48.根据前述权利要求中之一所述的方法,其中,所激活的功能包括:生成所改变的原始图像。
49.根据前述权利要求中之一所述的方法,其中,所述设备包括具有纵向色差的镜头,如对于给定的聚焦、孔径和焦距,存在至少一种颜色,针对所述至少一种颜色,涉及最佳锐度的距离低于:
k f 2 O . P
k为小于0.7的系数,优选地低于0.5,f为焦距,O为孔径,而P具有在图像的全部颜色之中、位于无穷远的对象点的模糊斑点的最小直径。
50.根据前述权利要求中之一所述的方法,其中,对两种颜色之间的相对锐度的测量通过以下来实现:比较施加到第一颜色的第一测量的结果和施加到第二颜色的第二测量的结果,每个测量一方面取决于颜色、另一方面取决于数字图像的内容;所述比较使得其被从数字图像内容中去除。
51.根据前述权利要求中之一所述的方法,所述数字图像出自包括镜头的捕捉设备,所述方法进一步包括以下步骤:设计展示规格的镜头,使得具有至少两个预定距离的对象图像展示不同的锐度颜色:
-以便改善景深和/或孔径和/或每个其它光学规格,并且/或者降低光学器件的成本。
52.一种用于图像捕捉和/或再生设备(20)的实施例,所述图像捕捉和/或再生设备(20)包括用于捕捉和/或再生图像的光学系统(22,22’)、图像传感器(24)和/或生成器(24’)和/或伺服控制系统(26),考虑到对图像的改善,由数字图像处理装置(28,28’)来处理图像;
-所述方法是这样的:用户通过利用经由数字装置来处理图像的能力来确定或选择所述光学系统和/或传感器和/或图像生成器和/或伺服控制系统的参数,并且进一步根据遵照前述权利要求中之一的方法、根据另一种颜色来确定或选择对颜色锐度的改善,
-以便使实施成本最小化和/或使所述图像捕捉和/或再生设备的性能最优化。
53.在图像捕捉设备内对根据权利要求1至52中之一所述的方法的利用。
54.在数字图像处理装置内对根据权利要求1至51中之一所述的方法的利用。
55.一种用于对特别地出自图像捕捉装置的数字图像的至少一种颜色的锐度进行改善的方法,其包括以下步骤:
-从颜色中选择被称为“锐利颜色”的至少一种颜色,
-将所述锐利颜色的锐度反映到至少一种其它改善的颜色上,以使所述改善的颜色展示增加的锐度。
56.根据权利要求55所述的方法,所述方法进一步包括以下步骤:将所述数字图像分解成多个区域(11.1,11.2),为每个区域选择所述锐利颜色。
57.根据权利要求56所述的方法,所述数字图像出自捕捉设备,所述方法进一步包括以下步骤:通过利用捕捉场景的至少一个对象的图像区域中的至少两种颜色的锐度,确定所述捕捉设备和所述捕捉场景的至少一个对象之间的距离。
58.根据权利要求57所述的方法,所述方法进一步包括以下步骤:降低至少一个图像区域内的至少一种颜色的锐度。
59.根据权利要求57或58所述的方法,所述方法进一步包括以下步骤:通过利用至少两种颜色的锐度,确定用于所述捕捉设备的伺服控制指令,以便以较少的步骤来实现聚焦并且加速聚焦。
60.根据权利要求55至59中之一所述的方法,对所述锐利颜色的选择是这样的:根据预定规则来选择最锐利的颜色。
61.根据权利要求55至59中之一所述的方法,对所述“锐利颜色”的选择是预定的。
62.根据权利要求55至61中之一所述的方法,所述数字图像出自捕捉设备,对所述锐利颜色的选择取决于所述捕捉设备和捕捉场景的至少一个对象之间的距离,以便获得所述数字图像。
63.根据权利要求55或62所述的方法,所述图像设备包括宏模式,对所述锐利颜色的选择取决于所述宏模式的激活。
64.根据权利要求55至63中之一所述的方法,所述数字图像出自包括镜头的捕捉设备,所述方法进一步包括以下步骤:从一系列的预定镜头中选择镜头,所述镜头展示了如此的规格,使得具有至少两个预定距离的对象图像展示不同的锐利颜色,从而改善景深和/或降低镜头的成本。
65.根据权利要求55至64中之一所述的方法,其中,锐利颜色的锐度对至少一种其它改善颜色的作用通过以下来实施:使用CA=CN+F(CO-CN)类型的计算,其中,CA表示改善的颜色,CO表示处理之前的改善的颜色,CN表示锐利颜色,而F则表示滤波器,即低通滤波器。
66.根据权利要求55至65中之一所述的方法,所述数字图像出自包括镜头的捕捉设备,所述方法进一步包括以下步骤:通过考虑根据本发明的方法来设计镜头,所述镜头展示了这样的规格,使得具有至少两个预定距离的对象图像展示不同的锐利颜色:
-以便改善景深和/或孔径和/或每个其它光学规格,并且/或者降低光学器件的成本,
-以便通过利用较少的位置来实现机械聚焦。
67.一种用于图像捕捉和/或再生设备(20)的实施例,所述图像捕捉和/或再生设备(20)包括用于捕捉和/或再生图像的光学系统(22,22’)、图像传感器(24)和/或生成器(24’)和/或伺服控制系统(26),考虑到对图像的改善,由数字图像处理装置(28,28’)来处理图像;
-所述方法是这样的:用户通过利用经由数字装置来处理图像的能力来确定或选择光学系统和/或传感器和/或图像生成器和/或伺服控制系统的参数,并且特别地用于根据遵照权利要求55至66中之一的方法、根据另一种颜色的锐度来改善颜色的锐度,
-以便使实施成本最小化和/或使所述图像捕捉和/或再生设备的性能最优化。
68.一种使用根据权利要求55至66中之一的颜色改善方法的、和/或经由根据权利要求67的实施例获得的图像捕捉和/或再生设备。
69.一种实施根据权利要求55至66的方法的数字图像处理装置。
70.一种根据遵照权利要求55至66中之一的方法或者使用遵照权利要求68的设备获得的数字图像。
71.一种用于数字图像捕捉设备的传感器,其包括主要用来生成数字图像的像素以及主要用来测量图像的至少一个区域R上的至少两种颜色之间的相对锐度的其它像素。
72.根据权利要求71所述的传感器,其中,主要用来测量相对锐度的像素具有在一个光谱带内的谱响应,该光谱带引起小的与主要用来生成图像的像素的光谱带的交迭。
73.根据权利要求71或72所述的传感器,其中,主要用来生成图像的像素具有主要在对人眼可见的场内的谱响应,而所述其它像素则具有主要在对人眼可见的场以外的谱响应。
74.一种包括根据权利要求71至73中之一所述的传感器的捕捉设备。
75.一种包括传感器的数字图像捕捉设备,一方面,所述传感器表示主要在对人眼可见的场内的谱响应像素和具有主要在对人眼可见的光谱以外的谱响应的额外像素,另一方面,在所述捕捉设备和成像场景之间的至少一个距离范围内,出自这些额外像素的图像部分的锐度超过了谱响应主要在对人眼可见的场内的像素所提供的图像部分的锐度。
76.根据权利要求75所述的设备,其中,所述额外像素具有主要在紫外和/或红外场内的谱响应。
CNA2006800123908A 2005-03-07 2006-03-06 利用颜色数字图像对动作如锐度修改进行控制的方法 Pending CN101204083A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210177544.6A CN102984448B (zh) 2005-03-07 2006-03-06 利用颜色数字图像对动作如锐度修改进行控制的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0550601 2005-03-07
FR0550601A FR2880958B1 (fr) 2005-01-19 2005-03-07 Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201210177544.6A Division CN102984448B (zh) 2005-03-07 2006-03-06 利用颜色数字图像对动作如锐度修改进行控制的方法

Publications (1)

Publication Number Publication Date
CN101204083A true CN101204083A (zh) 2008-06-18

Family

ID=36632499

Family Applications (2)

Application Number Title Priority Date Filing Date
CNA2006800123908A Pending CN101204083A (zh) 2005-03-07 2006-03-06 利用颜色数字图像对动作如锐度修改进行控制的方法
CN201210177544.6A Expired - Fee Related CN102984448B (zh) 2005-03-07 2006-03-06 利用颜色数字图像对动作如锐度修改进行控制的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201210177544.6A Expired - Fee Related CN102984448B (zh) 2005-03-07 2006-03-06 利用颜色数字图像对动作如锐度修改进行控制的方法

Country Status (7)

Country Link
US (3) US7920172B2 (zh)
EP (1) EP1856907A2 (zh)
JP (3) JP5535476B2 (zh)
KR (1) KR101265358B1 (zh)
CN (2) CN101204083A (zh)
CA (4) CA2834963C (zh)
WO (1) WO2006095110A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938535A (zh) * 2009-06-29 2011-01-05 鸿富锦精密工业(深圳)有限公司 电子设备
CN102158648A (zh) * 2011-01-27 2011-08-17 明基电通有限公司 影像截取装置及影像处理方法
CN102209245A (zh) * 2010-03-31 2011-10-05 佳能株式会社 图像处理装置、图像拾取装置和图像处理方法
CN107613284A (zh) * 2017-10-31 2018-01-19 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
CN108650462A (zh) * 2018-05-14 2018-10-12 Oppo广东移动通信有限公司 拍摄预览显示方法、装置、终端及存储介质
CN114339187A (zh) * 2020-09-30 2022-04-12 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4969122B2 (ja) * 2006-03-24 2012-07-04 パナソニック株式会社 撮像装置
KR100776805B1 (ko) * 2006-09-29 2007-11-19 한국전자통신연구원 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
KR100834577B1 (ko) * 2006-12-07 2008-06-02 한국전자통신연구원 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
US20090102924A1 (en) * 2007-05-21 2009-04-23 Masten Jr James W Rapidly Deployable, Remotely Observable Video Monitoring System
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
DE102007031230B3 (de) * 2007-07-04 2008-10-30 Bundesdruckerei Gmbh Dokumentenerfassungssystem und Dokumentenerfassungsverfahren
JP5032911B2 (ja) * 2007-07-31 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP5298507B2 (ja) 2007-11-12 2013-09-25 セイコーエプソン株式会社 画像表示装置及び画像表示方法
US8379115B2 (en) 2007-11-20 2013-02-19 Motorola Mobility Llc Image capture device with electronic focus
US8643748B2 (en) 2007-11-20 2014-02-04 Motorola Mobility Llc Compact stationary lens optical zoom image capture system
KR101412752B1 (ko) * 2007-11-26 2014-07-01 삼성전기주식회사 디지털 자동 초점 영상 생성 장치 및 방법
JP5171361B2 (ja) * 2008-04-07 2013-03-27 株式会社日立製作所 撮像装置
JP5132401B2 (ja) * 2008-04-16 2013-01-30 キヤノン株式会社 画像処理装置及び画像処理方法
US8160355B1 (en) * 2008-05-18 2012-04-17 Pixim Israel Ltd. Method, device and computer program product for performing white balancing of a digital image
EP2312858B1 (en) * 2008-06-18 2012-09-26 Panasonic Corporation Image processing apparatus, imaging apparatus, image processing method, and program
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
JP5075795B2 (ja) 2008-11-14 2012-11-21 株式会社東芝 固体撮像装置
JP5158713B2 (ja) * 2008-11-26 2013-03-06 京セラ株式会社 撮像装置および車載カメラシステム
JP5300133B2 (ja) * 2008-12-18 2013-09-25 株式会社ザクティ 画像表示装置及び撮像装置
JP5213688B2 (ja) * 2008-12-19 2013-06-19 三洋電機株式会社 撮像装置
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8379321B2 (en) * 2009-03-05 2013-02-19 Raytheon Canada Limited Method and apparatus for accurate imaging with an extended depth of field
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
JP2010257037A (ja) 2009-04-22 2010-11-11 Sony Corp 情報処理装置および方法、並びにプログラム
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
JP2010288150A (ja) * 2009-06-12 2010-12-24 Toshiba Corp 固体撮像装置
FR2949003B1 (fr) * 2009-08-10 2017-09-08 Dxo Labs Systeme et procede de capture d'images avec deux modes de fonctionnement
TWI451357B (zh) * 2009-09-09 2014-09-01 Himax Tech Ltd 字型反鋸齒方法
JP4796666B2 (ja) 2009-10-27 2011-10-19 パナソニック株式会社 撮像装置およびそれを用いた測距装置
WO2011058236A1 (fr) 2009-11-16 2011-05-19 Dxo Labs Systeme optique et procede de conception associe
US20110149021A1 (en) * 2009-12-17 2011-06-23 Samir Hulyalkar Method and system for sharpness processing for 3d video
US20110188116A1 (en) * 2010-02-02 2011-08-04 Nikolay Ledentsov Ledentsov Device for generation of three-demensional images
TWI495335B (zh) * 2010-04-21 2015-08-01 Hon Hai Prec Ind Co Ltd 取像模組及其運作方法
JP2011229603A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP2011229625A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP5630105B2 (ja) * 2010-07-05 2014-11-26 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5811635B2 (ja) * 2011-03-07 2015-11-11 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US8736722B2 (en) * 2010-07-15 2014-05-27 Apple Inc. Enhanced image capture sharpening
JP5576739B2 (ja) 2010-08-04 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、撮像装置及びプログラム
JP5582935B2 (ja) 2010-09-22 2014-09-03 富士フイルム株式会社 撮像モジュール
US9225766B2 (en) * 2010-10-29 2015-12-29 Sears Brands, L.L.C. Systems and methods for providing smart appliances
US9697588B2 (en) 2010-11-15 2017-07-04 Intuitive Surgical Operations, Inc. System and method for multi-resolution sharpness transport across color channels
US9979941B2 (en) * 2011-01-14 2018-05-22 Sony Corporation Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US8988590B2 (en) 2011-03-28 2015-03-24 Intermec Ip Corp. Two-dimensional imager with solid-state auto-focus
JP2012237693A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP5806504B2 (ja) 2011-05-17 2015-11-10 オリンパス株式会社 撮像装置およびこれを備える顕微鏡システム
US8711275B2 (en) * 2011-05-31 2014-04-29 Apple Inc. Estimating optical characteristics of a camera component using sharpness sweep data
US8749892B2 (en) 2011-06-17 2014-06-10 DigitalOptics Corporation Europe Limited Auto-focus actuator for field curvature correction of zoom lenses
JP5406383B2 (ja) 2011-06-23 2014-02-05 パナソニック株式会社 撮像装置
US8953058B2 (en) * 2011-06-29 2015-02-10 Fotonation Limited Axial chromatic aberration correction
JP5847471B2 (ja) * 2011-07-20 2016-01-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
EP2641527B1 (en) 2011-09-29 2017-11-08 Olympus Corporation Endoscope apparatus
TWI528833B (zh) * 2011-11-09 2016-04-01 鴻海精密工業股份有限公司 立體攝像裝置
FR2982678B1 (fr) 2011-11-14 2014-01-03 Dxo Labs Procede et systeme de capture de sequence d'images avec compensation des variations de grandissement
JP5898481B2 (ja) * 2011-12-13 2016-04-06 キヤノン株式会社 撮像装置及び焦点検出方法
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
EP2677363A1 (en) * 2012-06-20 2013-12-25 bioMérieux An optical device including a camera, a diaphragm and illumination means
EP2872966A1 (en) * 2012-07-12 2015-05-20 Dual Aperture International Co. Ltd. Gesture-based user interface
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
TWI451344B (zh) * 2012-08-27 2014-09-01 Pixart Imaging Inc 手勢辨識系統及手勢辨識方法
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
WO2014076836A1 (ja) * 2012-11-19 2014-05-22 富士機械製造株式会社 部品実装機および実装検査機
JP5738904B2 (ja) * 2013-01-28 2015-06-24 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
JP6086829B2 (ja) * 2013-06-26 2017-03-01 オリンパス株式会社 画像処理装置及び画像処理方法
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
WO2015059346A1 (en) * 2013-10-25 2015-04-30 Nokia Technologies Oy An apparatus and a method for producing a depth-map
JP6256132B2 (ja) 2014-03-14 2018-01-10 株式会社リコー 撮像システム
AU2015231416B2 (en) * 2014-03-18 2017-05-11 Integrated Medical Systems International, Inc. Optically adaptive endoscope
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
EP2942940A1 (en) * 2014-05-06 2015-11-11 Nokia Technologies OY Method and apparatus for defining the visible content of an image
US9232132B1 (en) * 2014-06-10 2016-01-05 Gregory S. Tseytin Light field image processing
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10475361B2 (en) 2015-02-02 2019-11-12 Apple Inc. Adjustable display illumination
US20160225150A1 (en) * 2015-02-02 2016-08-04 Capso Vision, Inc. Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10624533B2 (en) 2015-10-16 2020-04-21 Capsovision Inc Endoscope with images optimized based on depth map derived from structured light images
US11354783B2 (en) 2015-10-16 2022-06-07 Capsovision Inc. Method and apparatus of sharpening of gastrointestinal images based on depth information
US10943333B2 (en) * 2015-10-16 2021-03-09 Capsovision Inc. Method and apparatus of sharpening of gastrointestinal images based on depth information
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US9715721B2 (en) 2015-12-18 2017-07-25 Sony Corporation Focus detection
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
TWI588508B (zh) * 2016-05-10 2017-06-21 國立中興大學 立體深度量測裝置
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10277829B1 (en) * 2016-08-12 2019-04-30 Apple Inc. Video capture in low-light conditions
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
JP6801434B2 (ja) * 2016-12-20 2020-12-16 富士通株式会社 生体画像処理装置、生体画像処理方法および生体画像処理プログラム
CN110418719B (zh) 2017-01-25 2022-01-04 康丽数码有限公司 染色合成织物上喷墨打印的油墨组、方法及图像
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
WO2019048492A1 (en) * 2017-09-08 2019-03-14 Sony Corporation IMAGING DEVICE, METHOD AND PROGRAM FOR PRODUCING IMAGES OF A SCENE
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10679024B2 (en) 2018-07-24 2020-06-09 Cognex Corporation System and method for auto-focusing a vision system camera on barcodes
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11336840B2 (en) 2020-09-02 2022-05-17 Cisco Technology, Inc. Matching foreground and virtual background during a video communication session
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
CN114724000B (zh) * 2022-06-09 2022-08-30 深圳精智达技术股份有限公司 一种屏拍图摩尔纹的处理方法、处理装置及处理设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USH101H (en) * 1984-10-01 1986-08-05 The United States Of America As Represented By The Secretary Of The Army Ultraviolet and infrared focal place array
JPS63247680A (ja) * 1987-04-02 1988-10-14 Mitsubishi Electric Corp 画像追尾装置
JPH01212981A (ja) * 1988-02-20 1989-08-25 Sanyo Electric Co Ltd オートフォーカス装置
JPH01276884A (ja) * 1988-04-27 1989-11-07 Nec Corp ビデオカメラの焦合装置
US5161107A (en) 1990-10-25 1992-11-03 Mestech Creation Corporation Traffic surveillance system
JPH06138362A (ja) * 1991-02-06 1994-05-20 Sony Corp オートフォーカス装置
GB9125954D0 (en) 1991-12-06 1992-02-05 Vlsi Vision Ltd Electronic camera
US6292212B1 (en) * 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
JP3960647B2 (ja) * 1997-01-09 2007-08-15 オリンパス株式会社 自動合焦装置
EP0878970A3 (en) * 1997-05-16 1999-08-18 Matsushita Electric Industrial Co., Ltd. Imager registration error and chromatic aberration measurement system for a video camera
US5973846A (en) * 1998-11-30 1999-10-26 Hewlett-Packard Company Offset spectra lens system for a two spectra automatic focusing system
JP2000299874A (ja) * 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
JP2000338385A (ja) * 1999-05-28 2000-12-08 Ricoh Co Ltd 自動合焦装置およびその合焦方法
US6859229B1 (en) 1999-06-30 2005-02-22 Canon Kabushiki Kaisha Image pickup apparatus
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP4696407B2 (ja) * 2001-06-20 2011-06-08 株式会社ニコン 商品推奨システムおよび商品推奨方法
JP2003018407A (ja) * 2001-07-02 2003-01-17 Konica Corp 画像処理方法及び画像処理装置
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
JP4126938B2 (ja) 2002-03-22 2008-07-30 セイコーエプソン株式会社 画像処理装置および画像出力装置
JP2004120487A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 撮像装置
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
JP4010254B2 (ja) * 2003-02-06 2007-11-21 ソニー株式会社 画像記録再生装置、画像撮影装置及び色収差補正方法
US20040165090A1 (en) 2003-02-13 2004-08-26 Alex Ning Auto-focus (AF) lens and process
US20040169748A1 (en) * 2003-02-28 2004-09-02 Tinku Acharya Sub-sampled infrared sensor for use in a digital image capture device
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
FR2860089B1 (fr) * 2003-09-23 2005-11-11 Do Labs Procede et systeme pour modifier une image numerique de maniere differenciee et quasi reguliere par pixel
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP4815807B2 (ja) * 2004-05-31 2011-11-16 株式会社ニコン Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938535A (zh) * 2009-06-29 2011-01-05 鸿富锦精密工业(深圳)有限公司 电子设备
CN101938535B (zh) * 2009-06-29 2014-01-15 鸿富锦精密工业(深圳)有限公司 电子设备
CN102209245A (zh) * 2010-03-31 2011-10-05 佳能株式会社 图像处理装置、图像拾取装置和图像处理方法
US8531545B2 (en) 2010-03-31 2013-09-10 Canon Kabushiki Kaisha Image processing apparatus, including a filter acquisition part, and image pickup apparatus
CN102209245B (zh) * 2010-03-31 2013-11-20 佳能株式会社 图像处理装置、图像拾取装置和图像处理方法
CN102158648A (zh) * 2011-01-27 2011-08-17 明基电通有限公司 影像截取装置及影像处理方法
CN102158648B (zh) * 2011-01-27 2014-09-10 明基电通有限公司 影像截取装置及影像处理方法
CN107613284A (zh) * 2017-10-31 2018-01-19 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
CN107613284B (zh) * 2017-10-31 2019-10-08 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
CN108650462A (zh) * 2018-05-14 2018-10-12 Oppo广东移动通信有限公司 拍摄预览显示方法、装置、终端及存储介质
CN114339187A (zh) * 2020-09-30 2022-04-12 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质
CN114339187B (zh) * 2020-09-30 2024-06-14 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质

Also Published As

Publication number Publication date
JP2008532449A (ja) 2008-08-14
KR101265358B1 (ko) 2013-05-21
CA2834963A1 (fr) 2006-09-14
CA2600185A1 (fr) 2006-09-14
WO2006095110A2 (fr) 2006-09-14
US7920172B2 (en) 2011-04-05
KR20070121717A (ko) 2007-12-27
CA2835047C (fr) 2017-04-18
CA2835047A1 (fr) 2006-09-14
CA2834963C (fr) 2017-04-18
JP5633891B2 (ja) 2014-12-03
JP2015019378A (ja) 2015-01-29
CN102984448A (zh) 2013-03-20
JP5535476B2 (ja) 2014-07-02
CA2834883A1 (fr) 2006-09-14
JP6076300B2 (ja) 2017-02-08
US20110109749A1 (en) 2011-05-12
US20080158377A1 (en) 2008-07-03
JP2013214986A (ja) 2013-10-17
US20110019065A1 (en) 2011-01-27
EP1856907A2 (fr) 2007-11-21
CA2600185C (fr) 2016-04-26
WO2006095110A3 (fr) 2006-11-02
US8212889B2 (en) 2012-07-03
CA2834883C (fr) 2018-01-23
CN102984448B (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
CN101204083A (zh) 利用颜色数字图像对动作如锐度修改进行控制的方法
CN105611122B (zh) 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105049702B (zh) 焦点调节装置及其控制方法和摄像设备
CN102843509B (zh) 图像处理装置和图像处理方法
CN101309367B (zh) 成像装置
CN102457681B (zh) 图像处理设备和图像处理方法
CN107948519A (zh) 图像处理方法、装置及设备
CN108055452A (zh) 图像处理方法、装置及设备
JP6838994B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN104604215A (zh) 摄像装置、摄像方法和程序
CN108024054A (zh) 图像处理方法、装置及设备
CN102547116A (zh) 摄像设备及其控制方法
CN105453539B (zh) 图像处理装置、摄像装置及图像处理方法
CN107800965B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN102843510A (zh) 成像装置和距离信息检测方法
CN108737696A (zh) 摄像设备、控制方法和非暂时性存储介质
US20110043666A1 (en) Image processing apparatus, image processing method, and computer program storage medium
CN108053363A (zh) 背景虚化处理方法、装置及设备
CN106416218B (zh) 图像处理装置、摄像装置、图像处理方法以及存储介质
CN107534732A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN103426143A (zh) 影像编辑方法以及相关的模糊参数建立方法
CN107431741A (zh) 图像处理装置、图像处理方法以及程序
JP4271648B2 (ja) 画像合成装置、撮像手段、およびプログラム
KR20200139567A (ko) 카메라 장치 및 이의 이미지 합성 방법
CN104737527A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20080618