CN101490708B - 图像处理设备、图像处理方法和程序 - Google Patents
图像处理设备、图像处理方法和程序 Download PDFInfo
- Publication number
- CN101490708B CN101490708B CN2007800258577A CN200780025857A CN101490708B CN 101490708 B CN101490708 B CN 101490708B CN 2007800258577 A CN2007800258577 A CN 2007800258577A CN 200780025857 A CN200780025857 A CN 200780025857A CN 101490708 B CN101490708 B CN 101490708B
- Authority
- CN
- China
- Prior art keywords
- image
- downscaled images
- region
- view data
- reference point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 114
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000011946 reduction process Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 238000003786 synthesis reaction Methods 0.000 abstract 1
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 99
- 238000000034 method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
一种图像处理设备,包括:第一设置装置,针对原始图像设置包含基准点的第一图像区域和除第一图像区域外的第二图像区域;缩小装置,缩小原始图像;第二设置装置,针对获得的缩小图像,设置与原始图像的基准点对应的缩小图像的基准点、与第一图像区域对应的第一缩小图像区域和与第二图像区域对应的第二缩小图像区域;变形装置,在缩小图像内,将第二缩小图像区域中的图像变形,变形随着远离缩小图像的基准点而变大;扩大装置,将变形的第二缩小图像区域的图像数据扩大到第二图像区域中;和合成装置,将扩大成第二图像区域的图像数据与构成第一图像区域的原始图像的图像数据合成,以输出变形随着远离原始图像的基准点而变大的图像的图像数据。
Description
技术领域
本发明涉及一种关于在画面上设置的期望基准点使原始图像变形的图像处理设备、图像处理方法和程序。
本申请要求基于在2006年9月13日在日本提交的日本专利申请No.2006-248617的优先权,并且通过引用将该申请纳入于此。
背景技术
迄今为止,已经使用了用于限制进入相机镜头的光的安装到相机镜头的滤光器。滤光器通常用于限制透射光的波长范围的用途。除了这个目的以外,一些滤光器被用作提供允许根据距离在画面上设置的基准点的距离增大而使被摄体(subject)变形的效果(在下文中称作特殊效果)的装置。这些特殊效果包括允许被摄体变形为看上去好像被摄体随着距离基准点的距离增大而放射状流动的效果(在下文中称作缩放变形效果)、以及允许被摄体变形为看上去好像被摄体随着距离基准点的距离增大而螺旋状流动的效果(在下文中称作旋流变形效果)。由于通常将给出这些特殊效果的滤光器(在下文中称作特殊效果滤光器)设计为使得上述的基准点位于画面上的中心点,所以画面上的期望点不能够用作给出上述特殊效果的基准点。此外,仅当要给出特殊效果时,才需要将特殊效果滤光器安装到相机镜头。另外,当特殊效果滤光器安装到相机镜头时拍摄的图像在它的整个画面上发生分辨率下降。
另外,在计算机中,通过执行图像处理软件,对于甚至当上述特殊效果滤光器没有安装到相机镜头时拍摄的图像的图像数据,能够提供相似的特殊效果。通过将画面上的期望位置设置为基准点,这种图像处理软件能够为处理目标图像提供特殊效果。具体地讲,这种图像处理软件将图像数据转换成关于基准点以不同放大率放大的多个图像。并且,图像处理软件将该多个放大的图像叠加在未处理的图像数据上以对原始图像提供缩放变形效果。
由于设置在数字相机中的计算处理处理器的处理能力的提高,不仅在个人计算机中,在数字相机中也可执行提供包括缩放变形效果的允许被摄体关于基准点变形的特殊效果的图像处理。也就是说,由于数字相机的计算处理处理器的处理能力的提高,数字相机比较便于不仅进行简单记录和显示拍摄的图像的处理,还便于进行对拍摄的图像提供特殊效果的处理。同时,在数字相机中,随着为了满足高图像质量的需求而使拍摄的图像的像素数目增大,对图像数据提供图像效果所需的计算量也增大。因此,由于数字相机的处理能力低于个人计算机,所以数字相机具有如下问题:随着上述计算量的增大,计算速度也相对下降。此外,数字相机主要由电池电源驱动,并且功耗也随着计算量的增大而增大,这导致了另一个驱动时间缩短的问题。
在日本已审查专利申请公报No.7-113961中公开的图像处理方法中,检测画面上的高亮度部分并且在对与该部分对应的信号施加预定权重的情况下将该高亮度部分在预定方向偏移,并且加入亮度信号分量从而对图像给出用作特殊效果滤光器的十字滤光器效果。利用在日本已审查专利申请公报No.7-113961中描述的这种图像处理,各个像素的多个像素值进行偏移并相加从而关于基准点增大,由此能够对拍摄的图像提供伪缩放变形效果。然而,在利用这种图像处理方法对拍摄的图像提供缩放变形效果的情况下,如上所述的提取高亮度点的处理或相加处理中涉及的处理量根据拍摄的图像的像素数目而增大。另外,在这种图像处理方法中,没有作为高亮度像素提取的像素不会被处理。因此,在这种图像处理方法中,不能够对由未提取的像素构成的区域提供缩放变形效果。
发明内容
鉴于这种情况提出了本发明,并且本发明的技术目的是提供一种图像处理设备、图像处理方法和图像处理程序,其中,通过小的计算量就可以对拍摄的图像提供特殊效果,该特殊效果允许被摄体变形从而使变形程度随着距离在画面上设置的原始图像的基准点的距离的增大而增大。
为了解决上述技术问题而提出的本发明的一个实施例提供了一种图像处理设备,该图像处理设备包括:第一设置装置,用于针对原始图像,设置包括在原始图像的画面上任意选择的基准点的第一图像区域和所述画面上的除所述第一图像区域以外的第二图像区域;缩小装置,用于通过抽去原始图像的图像数据的像素来缩小原始图像;第二设置装置,用于针对由所述缩小装置获得的缩小图像,设置与原始图像的基准点对应的所述缩小图像的基准点、与所述第一图像区域对应的第一缩小图像区域、以及与所述第二图像区域对应的第二缩小图像区域;变形装置,用于在由所述缩小装置获得的所述缩小图像内,将由所述第二设置装置设置的所述第二缩小图像区域中的图像变形为使得变形程度随着距离所述缩小图像的基准点的距离的增大而增大;扩大装置,用于通过对构成由所述变形装置对图像进行了变形的所述第二缩小图像区域的图像数据的各个像素之间的像素值进行内插,将该图像数据扩大到所述第二图像区域中;以及组合装置,用于将由所述扩大装置扩大到所述第二图像区域中的图像数据与构成所述第一图像区域的原始图像的图像数据进行组合,并且输出被变形为使得变形程度随着距离原始图像的基准点的距离的增大而增大的图像的图像数据。
另外,本发明的另一个实施例提供了一种图像处理方法,该方法包括:针对原始图像,设置包括在原始图像的画面上任意选择的基准点的第一图像区域和除所述第一图像区域以外的第二图像区域;通过抽去原始图像的图像数据的像素来缩小原始图像;针对由所述缩小步骤获得的缩小图像,设置与原始图像的基准点对应的所述缩小图像的基准点、与所述第一图像区域对应的第一缩小图像区域、以及与所述第二图像区域对应的第二缩小图像区域;在通过所述缩小步骤获得的所述缩小图像内,将所设置的第二缩小图像区域中的图像变形为使得变形程度随着距离所述缩小图像的基准点的距离的增大而增大;通过对构成经变形的第二缩小图像区域的图像数据的各个像素之间的像素值进行内插,将该图像数据扩大到所述第二图像区域中;以及将构成扩大后的第二图像区域的图像数据与构成所述第一图像区域的原始图像的图像数据进行组合,并且输出被变形为使得变形程度随着距离原始图像的基准点的距离的增大而增大的图像的图像数据。
另外,本发明的另一个实施例提供了一种使计算机执行图像处理的程序,该图像处理包括:第一设置步骤,针对原始图像,设置包括在原始图像的画面上任意选择的基准点的第一图像区域和除所述第一图像区域以外的第二图像区域;缩小步骤,通过抽去原始图像的图像数据的像素来缩小原始图像;第二设置步骤,针对在所述缩小步骤中获得的缩小图像,设置与原始图像的基准点对应的所述缩小图像的基准点、与所述第一图像区域对应的第一缩小图像区域、以及与所述第二图像区域对应的第二缩小图像区域;变形步骤,在所述缩小步骤中获得的所述缩小图像内,将在所述第二设置步骤中设置的所述第二缩小图像区域中的图像变形为使得变形程度随着距离所述缩小图像的基准点的距离的增大而增大;扩大步骤,通过对构成在所述变形步骤中变形了的所述第二缩小图像区域的图像数据的各个像素之间的像素值进行内插,将该图像数据扩大到所述第二图像区域中;以及组合步骤,将构成在所述扩大步骤中扩大的所述第二图像区域的图像数据与构成所述第一图像区域的原始图像的图像数据进行组合,并且输出被变形为使得变形程度随着距离原始图像的基准点的距离的增大而增大的图像的图像数据。
本发明旨在为原始图像设置包括第一图像区域和第二图像区域的两个图像区域,仅使与第二图像区域对应的第二缩小图像区域施加变形处理以将它扩大成第二图像区域,并且将扩大的第二图像区域的图像数据与构成第一图像区域的原始图像的图像数据进行组合,以输出被变形为使得变形程度随着距离原始图像的基准点的距离的增大而增大的图像的图像数据。
因此,在本发明中,由变形处理导致的改变相对较小的第一图像区域不经受变形处理,因此能够减小使原始图像变形所需的计算量。另外,在本发明中,能够输出图像的数据,其中仅对第二图像区域进行了变形处理,同时第一图像区域的分辨率被保持为与原始图像的分辨率相似的分辨率。
基于下面参照附图描述的实施例,本发明的其它技术目的和通过本发明获得的具体优点将变得更加清楚。
附图说明
图1是示出数字相机的结构的框图。
图2A是示出原始图像的图,并且图2B是示出通过对原始图像P1提供缩放变形效果而获得图像的图。
图3是示出设置在计算处理单元中用于施加缩放变形效果的处理单元的结构的框图。
图4A是示出原始图像P1的图,并且图4B是示出通过执行抽去处理缩小原始图像P1而获得的缩小图像P2的图。
图5A是示出缩小图像P2的图,图5B是示出通过对缩小图像P2施加放大处理而获得的放大图像P2-1、P2-2、P2-3和P2-4的图,并且图5C是示出通过将放大图像P2-1、P2-2、P2-3和P2-4叠加在缩小图像P2上而获得的缩小图像P3的图。
图6A是示出缩小图像P3的图,并且图6B是示出通过对缩小图像施加扩大处理而获得的特殊效果图像P4的图。
图7A是示意性示出确定是否要执行双线性内插处理的确定处理的图,并且图7B是示意性示出双线性内插处理的图。
图8是示出由计算处理单元执行的对原始图像P1施加缩放变形效果的处理步骤的流程图。
具体实施方式
将在下文中参照附图详细描述用于执行本发明的最佳实施方式。
如图1所示,根据本实施例的数字相机100包括光学镜头110、成像元件120、A/D转换单元130、信号处理单元140、缓冲存储器150、记录介质160、显示单元170、计算处理单元180和输入单元190。
光学镜头110将来自被摄体的光通过附图中未示出的开口部聚焦在成像元件120上。
成像元件120接收由光学镜头110聚焦的光,并且将它转换成电信号。然后,成像元件120将转换后的电信号提供给A/D转换单元130。要注意,成像元件120可以具有CCD结构或者C-MOS结构并且它的结构并非要限于特定结构。
A/D转换单元130将从成像元件120提供的电信号从模拟格式转换成数字格式,并且将该结果提供给信号处理单元140。
信号处理单元140对从A/D转换单元130提供的数字电信号施加预定的信号处理以产生图像数据。具体地讲,信号处理单元140对数字电信号施加诸如白平衡、伽马校正的信号处理以产生图像数据。信号处理单元140将通过信号处理获得的图像数据提供给缓冲存储器150。
缓冲存储器150临时存储从信号处理单元140提供的图像数据,并且将存储的图像数据提供给记录介质160、显示单元170和计算处理单元180。
记录介质160记录从缓冲存储器150提供的图像数据。另外,记录介质160还执行将记录的图像数据读取到缓冲存储器150的处理。
显示单元170显示从缓冲存储器150提供的图像数据。另外,显示单元170还显示用于操作数字相机100的GUI(图形用户接口)画面,以及显示利用数字相机100拍摄的图像。
计算处理单元180控制设置在数字相机100中的各个处理单元的操作。具体地讲,计算处理单元180控制数字相机100的全部操作,这些操作包括被摄体的成像、图像数据的记录、图像数据的显示等。
输入单元190被用作用户接口,通过该用户接口,用户执行对数字相机100的操作输入。例如,响应于用户根据显示在显示单元170上的GUI画面的操作,输入单元190将与该操作输入对应的操作指令提供给计算处理单元180。
另外,在数字相机100中,计算处理单元180执行对通过对被摄体进行成像而获得的图像数据提供预定图像效果的处理。在要执行这种处理的情况下,计算处理单元180将作为处理目标的图像数据从记录介质160读取到缓冲存储器150。然后,计算处理单元180执行对读取到缓冲存储器150的图像数据提供预定图像效果的处理。然后,当对作为处理目标的图像数据的处理完成时,计算处理单元180将处理后的图像数据通过缓冲存储器150提供给记录介质160或者显示单元170。以这种方式,除了记录图像数据的处理和显示图像数据的处理以外,数字相机100还执行对图像数据提供预定图像效果的图像处理。要注意,在数字相机100中,在执行对存储介质160的存储处理之前,计算处理单元180可以对在执行成像后立即存储在缓冲存储器150中的图像数据以及存储在存储介质160中的图像数据提供预定图像效果。
在由上述数字相机100执行的图像处理的当前实施例中,将如下主要描述一种对记录在记录介质160中的图像数据提供特殊效果的图像处理,该特殊效果允许被摄体变形从而使得针对拍摄的图像数据,变形程度随着距离在它的画面上设置的基准点的距离的增大而增大。
在图2中示出了提供这种特殊效果的例子。具体地讲,将描述提供如下图像效果(在下文中称作缩放变形效果)的处理,该图像效果允许图2A所示的处理目标图像(在下文中称作原始图像)变形为看起来就像图像随着距离基准点A的距离的增大而放射状流动,如图2B所示。
在数字相机100中,为了对原始图像提供上述的特殊效果,计算处理单元180包括下文中所示的处理单元。如图3所示,计算处理单元180包括图像区域设置单元181、缩小处理单元182、特殊效果处理单元183和图像尺寸转换单元184。
如图4A所示,针对原始图像P1,图像区域设置单元181在它的画面上设置一圆形区域作为第一图像区域并且将画面上的第一图像区域以外的区域设置为第二图像区域,其中,该第一图像区域以基准点A为中心并且具有半径R。这里,基准点A是位于原始图像P1的画面上的期望位置处并且例如由用户针对显示在显示单元170上的原始图像P1操作输入单元190而设置的点。同样地,用户还设置半径R的大小。要注意,不是必须以上述方式通过用户的操作输入来设置基准点A和半径R,例如,基准点A和半径R可以是分别固定的。然后,图像区域设置单元181将原始图像P1的图像数据和关于图像区域的信息提供给缩小处理单元182和图像尺寸转换单元184中的每个。
通过均等地抽去(decimate)构成图像数据的像素的像素值,缩小处理单元182将从图像区域设置单元181提供的原始图像P1的图像数据转换成如图4B所示的缩小图像P2。然后,缩小处理单元182将缩小图像P2的图像数据提供给特殊效果处理单元183。这里,图4B所示的基准点A′是当原始图像P1的基准点A被映射到缩小图像P2的画面上时获得的对应点。同样地,图4B所示的半径R′具有通过按照缩小图像P2相对于原始图像P1的缩小率来缩小原始图像P1的半径R而获得的值。要注意,由于缩小处理单元182仅仅执行将原始图像P1转换成缩小图像P2的处理,所以由特殊效果处理单元183计算基准点A′和半径R′。
特殊效果处理单元183对从缩小处理单元182提供的缩小图像P2的图像数据施加下面描述的提供缩放变形效果的特殊效果处理,并且将在该处理后获得的缩小图像P3的图像数据提供给图像尺寸转换单元184。
图5是示意性示出由特殊效果处理单元183执行的处理的图。
特殊效果处理单元183将图5A所示的缩小图像P2转换成如图5B所示的通过按照四个不同的放大率α1、α2、α3和α4(α1<α2<α3<α4)对缩小图像P2内的第二缩小图像区域进行放大而获得的放大图像P2-1、P2-2、P2-3和P2-4。这里,从缩小图像P2的画面内映射的范围是放大图像P2-1、P2-2、P2-3和P2-4中的每个内的由图中的虚线包围的范围。要注意,在本实施例中,为了示意性示出由放大处理实现的效果,为了方便起见,示出了由虚线包围的区域以外的区域。
特殊效果处理单元183将放大图像P2-1、P2-2、P2-3和P2-4进行重叠以产生缩小图像P3,看起来就像缩小图像P3按照图5C所示方式随着距离基准点A′的距离增大而放射状流动。
要注意,假定了要叠加在缩小图像P2上的放大图像的数目不限于上述的四个并且特殊效果处理单元183根据期望的缩放变形效果选择要叠加的放大图像的期望数目。
尽管逐个画面地示出了与特殊效果处理单元183相关的处理内容,但是将以逐像素执行的处理的内容来描述具体执行这种处理内容的处理。
特殊效果处理单元183计算分别与原始图像P1的基准点A和半径R对应的缩小图像P2的基准点A′和半径R′。为了将缩小图像P2的图像数据分成与第一图像区域对应的缩小图像区域(在下文中称作第一缩小图像区域)和与第二图像区域对应的缩小图像区域(在下文中称作第二缩小图像区域),特殊效果处理单元183对构成缩小图像P2的所有像素执行下文所示的确定处理。特殊效果处理单元183确定构成缩小图像P2的每个像素在画面上是否位于以基准点A′为中心且半径为R′的圆形区域中(图5所示的各个缩小图像中的由网格指示的图像区域)。在这个确定处理中,如果确定了作为确定目标的像素位于该圆形区域内,则特殊效果处理单元183确定该目标像素是构成第一缩小图像区域的像素之一。如果确定了该目标像素位于圆形区域以外,则特殊效果处理单元183确定该目标像素是构成第二缩小图像区域的像素之一。
特殊效果处理单元183将确定为位于第一缩小图像区域中的像素的亮度值设置为0。特殊效果处理单元183还从确定为位于第二缩小图像区域中的像素的像素值q(X0,Y0)计算构成缩小图像P3的每个像素的像素值q(X,Y)。这里,(X0,Y0)表示确定为位于缩小图像P2的第二缩小图像区域中的处理目标图像的坐标。另外,(X,Y)表示缩小图像P3的坐标。将在下文中示出特定处理的内容。
首先,利用在下面等式(1)中给出的函数F,特殊效果处理单元183输入坐标(X0,Y0)、基准点A′的坐标(Xc,Yc)、放大率α1和旋转角度θ,并且输出指示在放大处理后获得的缩小图像P2的位置的坐标(X1,Y1)。
(X1,Y1)=F(X0,Y0,Xc,Yc,α1,θ)......等式(1)。
要注意,分别通过下面的等式(2)和等式(3)给出在放大处理后的坐标(X1,Y1)的各个分量。
X1=Xc+(1/α1)×{(X0-Xc)×cosθ-(Y0-Yc)×sinθ}
......等式(2)
Y1=Yc+(1/α1)×{(X0-Xc)×sinθ+(Y0-Yc)×cosθ}
......等式(3)
这里,在提供缩放变形效果的特殊效果处理中,使图像变形从而看上去好像图像相对于基准点放射状流动。因此,仅执行放大处理。因此,假定特殊效果处理单元183总是将旋转角度θ的值设置为0[弧度]以提供缩放变形效果。要注意,特殊效果处理单元183将旋转角度θ的值设置为一适当值,由此能够对原始图像提供如下效果:图像看上去好像图像随着距离基准点的距离增大而螺旋状流动(在下文中称作旋流变形效果)。
特殊效果处理单元183针对坐标(X0,Y0)定义包括上述的放大率α1的全部四个放大率α1、α2、α3和α4(α1<α2<α3<α4),并且单独地应用使用上述函数F的放大处理以计算指示在执行放大处理后获得的缩小图像P2的位置的坐标(X1,Y1)、(X2,Y2)、(X3,Y3)和(X4,Y4)。
特殊效果处理单元183参考对应于计算出的坐标(X1,Y1)、(X2,Y2)、(X3,Y3)和(X4,Y4)的缩小图像P2的像素。这里,假定特殊效果处理单元183参考缩小图像P2的位置最靠近这些坐标的像素。特殊效果处理单元183单独地读取所参考像素的像素值,并且将这些像素的像素值设置为q(X1,Y1)、q(X2,Y2)、q(X3,Y3)和q(X4,Y4)。这里,在上述的参考最近位置的技术中,与其它替代技术相比,处理量小,但是分辨率相比较而言大幅下降。然而,在充分远离基准点的图像区域中,作为施加缩放变形效果的结果,图像区域的分辨率明显降低。因此,通过以上述方式参考最近位置,在不考虑图像质量恶化的情况下,与其它替代技术相比,特殊效果处理单元183能够减小计算量。
接下来,特殊效果处理单元183利用下面的等式(4)计算缩小图像P3的像素的像素值q(X,Y):
q(X,Y)={q(X0,Y0)+q(X1,Y1)+q(X2,Y2)+q(X3,Y3)+q(X4,Y4)}/5
......等式(4)
特殊效果处理单元183对确定为位于第二缩小图像区域中的所有像素执行在等式(1)到(4)中给出的处理,并且将由第一缩小图像区域(其中,构成第一缩小图像区域的像素的亮度值被设置为0)和经受了缩放变形处理的第二缩小图像区域构成的缩小图像P3的缩小图像数据提供给图像尺寸转换单元184。
因此,在特殊效果处理单元183中,缩小图像P2内的第一缩小区域没有经受如图5所示的提供缩放变形效果的处理。这是因为即使对第一缩小图像区域应用提供缩放变形效果的图像处理,如下文所示,与第二缩小图像区域相比,图像相对于处理之前的改变很小。
从构成第一缩小图像区域的每个像素到基准点的距离小于从构成第二缩小图像区域的每个像素到基准点的距离。因此,第一缩小图像区域中与第二缩小图像区域中相比,在放大处理之前和之后的坐标位置间的改变较小。因此,当对在提供缩放变形效果的处理之前的像素值的改变与利用等式(4)计算出的像素值的改变进行比较时,第一缩小图像区域的改变也小于第二缩小图像区域的改变。
因此,由于特殊效果处理单元183没有执行具有小的缩放变形效果的第一缩小图像区域的处理,所以与对构成缩小图像的所有像素执行提供缩放变形效果的处理的情况相比,能够减小计算处理的量。因此,与现有技术相比,特殊效果处理单元183能够减小使原始图像变形所需的处理量。
如图6A所示,图像尺寸转换单元184仅对从特殊效果处理单元183提供的缩小图像P3的图像数据中的第二缩小图像区域进行下面描述的双线性内插处理,以将缩小图像P3扩大到原始图像尺寸。图像尺寸转换单元184将与通过利用双线性内插进行了扩大处理的第二图像区域对应的图像数据与从图像区域设置单元181提供的原始图像的图像数据内的构成第一图像区域(图中由网格指示的图像区域)的图像数据进行组合以产生如图6B所示的具有原始图像尺寸的特殊效果图像P4。
也就是说,图像尺寸转换单元184仅利用从特殊效果处理单元183提供的缩小图像P3内的第二缩小图像区域中的像素执行内插处理,并且对于剩余区域,使用原始图像P1的图像数据。为此,图像尺寸转换单元184执行下文所示的确定处理。
首先,图像尺寸转换单元184计算与特殊效果图像P4中的要进行内插的每个目标像素(在下文中称作内插目标像素)的坐标对应的缩小图像P3的坐标。然后,图像尺寸转换单元184确定位于计算出的缩小图像P3的坐标附近的四个像素是否要被用作参考像素。
具体地讲,如图7A所示,图像尺寸转换单元184确定这四个参考像素中的至少一个或更多个是否具有为0的亮度值。这里,图7A中的由点线指示的参考像素是具有0以外的亮度值的像素,而图7A中的由黑方块(“■”)指示的参考像素是具有为0的亮度值的像素。如果利用这个确定处理确定了至少一个或更多个参考像素具有为0的亮度值,则图像尺寸转换单元184将对应于这些参考像素的、由图7A中的阴影指示的区域中的内插目标像素的像素值设置为对应于这些像素位置的原始图像P1的图像数据的值。图像尺寸转换单元184还通过利用双线性内插,从构成缩小图像P3的像素的像素值,计算对应于均被确定为具有非0亮度值的参考像素的、位于图7A中的阴影指示的区域外的内插目标像素。图像尺寸转换单元184优选地利用原始图像P1的图像数据而非缩小图像P3的图像数据,来设置构成特殊效果图像P4的像素的像素值。因此,图像尺寸转换单元184能够执行上述的组合处理,其中,第一图像区域与第二图像区域之间的边界附近的像素的亮度值不是0。
接下来,将参照图7B详细地描述由图像尺寸转换单元184执行的双线性内插处理的处理内容。
如图7B所示,图像尺寸转换单元184从位于附近的四个参考像素对内插目标像素z进行内插。在这四个像素中,位于关于内插目标像素z的左斜上、右斜上、左斜下和右斜下的位置的像素分别用a、b、c和d表示。
另外,设置穿过内插目标像素z的垂直延长线与连接像素a和b的水平线彼此相交的位置处的像素z1,并且从像素a到像素z1的距离与从像素z1到像素b的距离的比被设置为x:(1-x)(0≤x≤1)。同样地,如果设置了穿过内插目标像素z的垂直延长线与连接像素c和d的水平线彼此相交的位置处的像素z2,则从像素c到像素z2的距离与从像素z2到像素d的距离的比是x:(1-x)。另外,从像素z1到像素z的距离与从像素z到像素z2的距离的比被设置为y:(1-y)(0≤y≤1)。
图像尺寸转换单元184首先基于下面的等式(5)计算像素z1的像素值P(z1),并且基于等式(6)计算像素值(z2)。要注意,假定像素a、b、c和d的像素值分别是p(a)、p(b)、p(c)和p(d)。
p(z1)=(1-x)×p(a)+x×p(b)......等式(5)
p(z2)=(1-x)×p(c)+x×p(d)......等式(6)
然后,图像尺寸转换单元184利用等式(5)和(6)的计算结果基于等式(7)计算内插目标像素z的像素值p(z)。
p(z)=(1-y)×p(z1)+y×p(z2)......等式(7)
图像尺寸转换单元184对构成特殊效果图像P4的所有像素执行上述处理。
因此,图像尺寸转换单元184将通过利用双线性内插而进行了扩大处理的与第二图像区域对应的图像数据与从图像区域设置单元181提供的原始图像数据中的构成第一图像区域的图像数据进行组合,以产生具有原始图像尺寸的特殊效果图像P4,并且将特殊效果图像P4提供给记录介质160或者显示单元170。
接下来,将参照图8所示的流程图描述由设置在上述计算处理单元180中的各个处理单元中的特殊效果处理单元183和图像尺寸转换单元184执行的处理步骤。要注意,由计算处理单元180通过根据图像处理程序控制各个处理单元来执行本处理步骤。
首先,在本处理步骤开始之前,假定图像区域设置单元181已经针对原始图像P1的图像数据设置了限定在以基准点A为中心并且半径为R的圆形区域中的第一图像区域和该圆形区域之外的第二图像区域。还假定缩小处理单元182已经将原始图像P1的图像数据转换成缩小图像P2的图像数据并且将缩小图像P2的图像数据提供给特殊效果处理单元183。然后,启动下面的处理步骤。
在步骤S11中,特殊效果处理单元183计算分别对应于原始图像P1的基准点A和半径R的缩小图像P2的基准点A′和半径R′。
在步骤S12中′特殊效果处理单元183基于从缩小处理单元182提供的缩小图像P2的图像数据,将位于画面上的左上端的像素设置为处理目标像素。
在步骤S13中,特殊效果处理单元183确定该处理目标像素是否位于以基准点A′为中心并且半径为R′的圆形区域中。具体地讲,特殊效果处理单元183通过确定处理目标像素的坐标位置与基准点A′的坐标位置之间的距离的平方是否大于或等于半径R的平方值来执行该确定。这里,如果确定了该距离的平方值大于或等于半径R的平方值,则特殊效果处理单元183进行到步骤S14。如果确定了该距离的平方值小于半径R的平方值,则特殊效果处理单元183进行到步骤S15。
在步骤S14中,特殊效果处理单元183将当前处理目标像素的亮度值设置为0。然后,特殊效果处理单元183进行到步骤S16。
在步骤S15中,特殊效果处理单元183对当前处理目标像素施加在等式(1)到(4)中给出的提供缩放变形效果的处理,以计算构成缩小图像P3的像素的像素值。然后,特殊效果处理单元183进行到步骤S16。
在步骤S16中,特殊效果处理单元183确定当前处理目标像素是否位于画面的右下端。如果确定了当前处理目标像素位于画面的右下端,则特殊效果处理单元183进行到步骤S17。如果确定了当前处理目标像素不位于画面的右下端,则特殊效果处理单元183在画面的扫描方向上将下一个处理目标像素的位置移动一个像素,然后返回到步骤S13。
当步骤S16完成时,对于本处理步骤,实现了从由特殊效果处理单元183执行的处理到由图像尺寸转换单元184执行的处理的转移。
在步骤S17中,图像尺寸转换单元184将内插目标像素的位置设置到具有原始尺寸的画面上的左上端。
在步骤S18中,图像尺寸转换单元184确定与当前内插目标像素关联的四个参考像素是否包括亮度值为0的一个或更多个像素。如果确定了这些参考像素包括亮度值为0的一个或更多个像素,则图像尺寸转换单元184进行到步骤S19。如果确定了这些参考像素不包括亮度值为0的像素,则图像尺寸转换单元184进行到步骤S20。
在步骤S19中,图像尺寸转换单元184将内插目标像素的像素值设置为等于与内插目标像素对应的原始图像P1的像素的像素值。然后,图像尺寸转换单元184进行到步骤S21。
在步骤S20中,图像尺寸转换单元184利用与内插目标像素关联的参考像素的像素值对内插目标像素施加上述的双线性内插处理。然后,图像尺寸转换单元184进行到步骤S21。
在步骤S21中,图像尺寸转换单元184确定当前处理目标像素是否位于画面的右下端。如果确定了当前处理目标块位于画面的右下端,则图像尺寸转换单元184结束本处理步骤。另一方面,如果确定了当前内插目标像素不位于画面的右下端,则图像尺寸转换单元184在对画面进行扫描的方向上将下一个处理目标像素的位置移动一个像素,然后返回到步骤S18。
因此,计算处理单元180根据图像处理程序仅对与第二图像区域对应的第二缩小图像区域施加变形处理以执行到第二图像区域的扩大,并且将扩大后的第二图像区域的图像数据与构成第一图像区域的原始图像的图像数据进行组合,由此输出变形为使得变形程度随着距离原始图像的基准点的距离的增大而增大的图像的图像数据。
因此,计算处理单元180能够仅对特殊效果图像P4内的第二图像区域提供缩放变形效果,同时将特殊效果图像P4中的第一图像区域的分辨率保持为与原始图像P1的分辨率相似的分辨率。
要注意,尽管在本实施例中已经在对原始图像提供缩放变形效果的处理的上下文中描述了特殊效果的例子,但是这不应进行限制性解释,并且允许关于基准点改变的特殊效果可被提供给原始图像,包括对原始图像提供了一效果从而看上去好像该图像关于基准点随着距离基准点的距离的增大而螺旋状流动的特殊效果。
因此,计算处理单元180没有对改变小于第二图像区域的改变的第一图像区域施加特殊效果。因此,计算处理单元180能够在以自然方式使整个原始图像变形的同时减小总的计算处理量。另外,在包括计算处理单元180的数字相机100中,由于计算处理量的减小,电池驱动的操作时间能够延长。
要注意,本发明不仅仅限于上述的实施例,并且应该明白,在不脱离本发明的范围的情况下可以进行各种修改。
Claims (3)
1.一种图像处理设备,包括:
第一设置装置,用于针对原始图像,设置包括在原始图像的画面上任意选择的基准点的第一图像区域和所述画面上的除所述第一图像区域以外的第二图像区域;
缩小装置,用于通过抽去原始图像的图像数据的像素来缩小原始图像;
第二设置装置,用于针对由所述缩小装置获得的缩小图像,设置与原始图像的基准点对应的所述缩小图像的基准点、与所述第一图像区域对应的第一缩小图像区域、以及与所述第二图像区域对应的第二缩小图像区域;
变形装置,用于在由所述缩小装置获得的所述缩小图像内,将由所述第二设置装置设置的所述第二缩小图像区域中的图像变形为使得变形程度随着距离所述缩小图像的基准点的距离的增大而增大;
扩大装置,用于通过对构成由所述变形装置对图像进行了变形的所述第二缩小图像区域的图像数据的各个像素之间的像素值进行内插,将该图像数据扩大到所述第二图像区域中;以及
组合装置,用于将由所述扩大装置扩大到所述第二图像区域中的图像数据与构成所述第一图像区域的原始图像的图像数据进行组合,并且输出被变形为使得变形程度随着距离原始图像的基准点的距离的增大而增大的图像的图像数据。
2.如权利要求1所述的图像处理设备,其特征在于:所述变形装置通过将构成所述第二缩小图像区域的缩小图像的图像数据与通过对所述第二缩小图像区域中的图像施加放大处理或者放大处理和旋转处理之一而获得的图像数据进行叠加,使所述第二缩小图像区域变形。
3.一种图像处理方法,包括以下步骤:
针对原始图像,设置包括在原始图像的画面上任意选择的基准点的第一图像区域和除所述第一图像区域以外的第二图像区域;
通过抽去原始图像的图像数据的像素来缩小原始图像;
针对由所述缩小步骤获得的缩小图像,设置与原始图像的基准点对应的所述缩小图像的基准点、与所述第一图像区域对应的第一缩小图像区域、以及与所述第二图像区域对应的第二缩小图像区域;
在通过所述缩小步骤获得的所述缩小图像内,将所设置的第二缩小图像区域中的图像变形为使得变形程度随着距离所述缩小图像的基准点的距离的增大而增大;
通过对构成经变形的第二缩小图像区域的图像数据的各个像素之间的像素值进行内插,将该图像数据扩大到所述第二图像区域中;以及
将构成扩大后的第二图像区域的图像数据与构成所述第一图像区域的原始图像的图像数据进行组合,并且输出被变形为使得变形程度随着距离原始图像的基准点的距离的增大而增大的图像的图像数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP248617/2006 | 2006-09-13 | ||
JP2006248617A JP4063306B1 (ja) | 2006-09-13 | 2006-09-13 | 画像処理装置、画像処理方法、及びプログラム |
PCT/JP2007/066455 WO2008032545A1 (fr) | 2006-09-13 | 2007-08-24 | Dispositif de traitement d'image, procédé de traitement d'image et programme |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101490708A CN101490708A (zh) | 2009-07-22 |
CN101490708B true CN101490708B (zh) | 2012-06-06 |
Family
ID=39183609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800258577A Expired - Fee Related CN101490708B (zh) | 2006-09-13 | 2007-08-24 | 图像处理设备、图像处理方法和程序 |
Country Status (10)
Country | Link |
---|---|
US (1) | US8094213B2 (zh) |
EP (1) | EP2063388A4 (zh) |
JP (1) | JP4063306B1 (zh) |
KR (1) | KR20090050080A (zh) |
CN (1) | CN101490708B (zh) |
BR (1) | BRPI0716393A2 (zh) |
MY (1) | MY148206A (zh) |
RU (1) | RU2432614C2 (zh) |
TW (1) | TW200830219A (zh) |
WO (1) | WO2008032545A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4063306B1 (ja) * | 2006-09-13 | 2008-03-19 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP5417920B2 (ja) * | 2009-03-19 | 2014-02-19 | 株式会社ニコン | 画像処理装置、画像処理方法、電子カメラおよび画像処理プログラム |
JP5827466B2 (ja) * | 2010-11-08 | 2015-12-02 | オリンパス株式会社 | 撮像装置、撮像方法、およびプログラム |
EP2800382B1 (en) * | 2011-12-27 | 2016-06-29 | Fujifilm Corporation | Imaging device, method for controlling imaging device, and control program |
CN104041021B (zh) | 2011-12-28 | 2017-05-17 | 富士胶片株式会社 | 图像处理装置及方法以及摄像装置 |
CN103679632A (zh) * | 2012-09-18 | 2014-03-26 | 英业达科技有限公司 | 以不同缩放比例缩放影像中不同区域的系统及方法 |
JP5667135B2 (ja) * | 2012-09-24 | 2015-02-12 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
JP5962403B2 (ja) * | 2012-10-01 | 2016-08-03 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
CN110505435B (zh) * | 2018-05-16 | 2021-01-29 | 京鹰科技股份有限公司 | 图像传输方法及其系统与图像传送端装置 |
CN112634124B (zh) * | 2020-12-10 | 2024-04-12 | 深兰工业智能创新研究院(宁波)有限公司 | 图像变形方法、图像变形装置、电子设备和存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5125041A (en) * | 1985-08-05 | 1992-06-23 | Canon Kabushiki Kaisha | Still image processing method for blurring an image background and producing a visual flowing effect |
JPH07113961B2 (ja) | 1985-08-05 | 1995-12-06 | キヤノン株式会社 | 信号処理装置 |
JP2006248617A (ja) | 1991-01-14 | 2006-09-21 | Dainippon Printing Co Ltd | 包装材料の殺菌方法 |
JPH07113961A (ja) | 1993-10-14 | 1995-05-02 | Tokyo Sukoopu:Kk | 焦点.可変スコープ用赤色光交点 |
JPH08147493A (ja) * | 1994-11-15 | 1996-06-07 | Matsushita Electric Ind Co Ltd | アニメーション画像生成方法 |
US6925210B2 (en) * | 2001-07-09 | 2005-08-02 | Michael Herf | Method for blurring images in real-time |
WO2004044843A2 (en) * | 2002-11-06 | 2004-05-27 | Digivision, Inc. | Systems and methods for image enhancement in multiple dimensions |
US7636489B2 (en) * | 2004-04-16 | 2009-12-22 | Apple Inc. | Blur computation algorithm |
JP4063306B1 (ja) * | 2006-09-13 | 2008-03-19 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2006
- 2006-09-13 JP JP2006248617A patent/JP4063306B1/ja not_active Expired - Fee Related
-
2007
- 2007-08-20 TW TW096130769A patent/TW200830219A/zh not_active IP Right Cessation
- 2007-08-24 CN CN2007800258577A patent/CN101490708B/zh not_active Expired - Fee Related
- 2007-08-24 KR KR1020097005117A patent/KR20090050080A/ko not_active Application Discontinuation
- 2007-08-24 RU RU2009109064/08A patent/RU2432614C2/ru not_active IP Right Cessation
- 2007-08-24 MY MYPI20090015A patent/MY148206A/en unknown
- 2007-08-24 US US12/376,971 patent/US8094213B2/en not_active Expired - Fee Related
- 2007-08-24 BR BRPI0716393-2A2A patent/BRPI0716393A2/pt not_active IP Right Cessation
- 2007-08-24 EP EP07806041A patent/EP2063388A4/en not_active Withdrawn
- 2007-08-24 WO PCT/JP2007/066455 patent/WO2008032545A1/ja active Application Filing
Non-Patent Citations (2)
Title |
---|
宇冶晶.Photoshopフィルタ事典COMPLETE.《Photoshopフィルタ事典COMPLETE》.1998, * |
遠藤悦郎.Adobe Photoshop AtoZ.《Adobe Photoshop AtoZ》.1993, * |
Also Published As
Publication number | Publication date |
---|---|
TW200830219A (en) | 2008-07-16 |
JP4063306B1 (ja) | 2008-03-19 |
JP2008072390A (ja) | 2008-03-27 |
MY148206A (en) | 2013-03-15 |
TWI344115B (zh) | 2011-06-21 |
RU2009109064A (ru) | 2010-09-20 |
EP2063388A4 (en) | 2011-10-05 |
RU2432614C2 (ru) | 2011-10-27 |
BRPI0716393A2 (pt) | 2013-10-15 |
US20100157101A1 (en) | 2010-06-24 |
KR20090050080A (ko) | 2009-05-19 |
CN101490708A (zh) | 2009-07-22 |
US8094213B2 (en) | 2012-01-10 |
EP2063388A1 (en) | 2009-05-27 |
WO2008032545A1 (fr) | 2008-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101490708B (zh) | 图像处理设备、图像处理方法和程序 | |
CN102014249B (zh) | 图像处理装置和成像设备 | |
JP2010268441A (ja) | 画像処理装置、撮像装置及び画像再生装置 | |
JP2009071689A (ja) | 画像処理装置、画像処理方法および撮像装置 | |
JP2007271908A (ja) | マルチ画像生成装置 | |
JP2008079026A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2009105533A (ja) | 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法 | |
JP4919836B2 (ja) | 画像の歪曲補正を行う画像処理装置、撮像装置及び画像の歪曲補正方法 | |
JP5318225B2 (ja) | 画像合成装置及び画像合成プログラム | |
US20160189350A1 (en) | System and method for remapping of image to correct optical distortions | |
JP2005135096A (ja) | 画像処理方法および画像処理装置、並びにプログラム | |
JP2006145758A (ja) | オンスクリーンディスプレイ装置 | |
JP5676924B2 (ja) | 投影装置及び投影方法 | |
JP6524644B2 (ja) | 画像処理装置および電子機器 | |
JP4888306B2 (ja) | 画像処理装置および画像処理方法 | |
JP2010273261A (ja) | 画像処理装置、撮像装置 | |
JP2009130489A (ja) | 撮像装置、撮像記録方法、撮像画像記録再生装置および撮像画像記録再生方法 | |
JP2010245682A (ja) | 画像処理装置、画像処理方法およびコンピュータープログラム | |
JP4401884B2 (ja) | 映像信号処理装置及び方法 | |
JP6828604B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4828788B2 (ja) | 画像処理装置 | |
JP6040217B2 (ja) | 投影装置及び投影方法 | |
JPWO2002071748A1 (ja) | 電子カメラおよびデータファイル生成装置 | |
JP2005167479A (ja) | 画像入力装置及び画像入力方法 | |
JP2011004019A (ja) | 動画像処理装置、動画像処理装置の制御方法、プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120606 Termination date: 20130824 |