CN101834997A - 数字图像处理设备和控制该数字图像处理设备的方法 - Google Patents
数字图像处理设备和控制该数字图像处理设备的方法 Download PDFInfo
- Publication number
- CN101834997A CN101834997A CN201010133685A CN201010133685A CN101834997A CN 101834997 A CN101834997 A CN 101834997A CN 201010133685 A CN201010133685 A CN 201010133685A CN 201010133685 A CN201010133685 A CN 201010133685A CN 101834997 A CN101834997 A CN 101834997A
- Authority
- CN
- China
- Prior art keywords
- pixel count
- aperture time
- image
- mobile
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005259 measurement Methods 0.000 claims description 42
- 206010034972 Photosensitivity reaction Diseases 0.000 claims description 41
- 230000036211 photosensitivity Effects 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004513 sizing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008676 import Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B19/00—Cameras
- G03B19/02—Still-picture cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
本发明提供一种数字图像处理设备和控制该数字图像处理设备的方法，所述数字图像处理设备检测包括在输入图像中的移动物体，根据移动物体的移动量设立快门速度，并基于设立的快门速度执行拍摄操作。所述方法包括：接收输入图像；在输入图像中检测移动物体；测量移动物体的移动量；根据移动物体的移动量，并根据将被拍摄的图像的设立的文件大小或将被拍摄的图像的设立的图像大小中的至少一个，来设立用于拍摄操作的快门时间。
Description
本申请要求于2009年3月9日提交到韩国知识产权局的第10-2009-0019858号韩国专利申请的优先权，该申请的全部内容通过引用合并于此。
技术领域
本发明涉及一种数字图像处理设备和控制该数字图像处理设备的方法，更具体地讲，涉及一种通过根据将被拍摄的对象的拍摄状态设立快门速度、感光度等来执行拍摄操作的数字图像处理设备和控制该数字图像处理设备的方法。
背景技术
数字图像处理设备包括处理图像或使用图像识别传感器的设备，如数字相机、个人数字助理(PDA)、电话相机或PC相机。
数字图像处理设备可利用数字信号处理器(DSP)对成像装置拍摄的图像执行图像处理和压缩，以产生图像文件，并且可将图像文件存储在存储器中。
另外，数字图像处理设备可将成像装置拍摄的图像或者存储在存储介质中的图像文件中包含的图像显示在显示装置，如液晶显示器(LCD)装置上。
另外，数字图像处理设备可检测对象的拍摄状态，并自动设立适合于拍摄状态的拍照条件(包括快门速度、感光度等)，以拍摄对象的图像。自动拍摄的图像的图像品质越好，图像对用户的价值越高，并且数字图像处理装置对用户的价值越高。
发明内容
本发明提供一种数字图像处理设备和控制该数字图像处理设备的方法，所述数字图像处理设备检测包括在输入图像中的移动物体，根据移动物体的移动量设立快门速度，并基于设立的快门速度执行拍摄操作。
根据本发明的一方面，提供一种控制数字图像处理设备的方法，该方法包括：接收输入图像；在输入图像中检测移动物体；测量移动物体的移动量；根据移动物体的移动量，并根据将被拍摄的图像的设立的文件大小或将被拍摄的图像的设立的图像大小中的至少一个，来设立用于拍摄操作的快门时间。
可通过顺序接收两个或更多个输入图像并将所述两个或更多个输入图像进行比较，来检测移动物体。
所述移动量可被测量为：与移动物体在所述两个或更多个输入图像之间移动的像素数对应的测量移动像素数。
快门时间可被设立为与所述测量移动像素数成反比。
快门时间可被设立为与将被拍摄的图像的文件大小或将被拍摄的图像的图像大小中的至少一个成反比。
所述文件大小或图像大小可被定义为拍摄和存储的图像的记录像素数。
接收的输入图像可具有所述记录像素数的大小，并且根据等式“快门时间＝(允许移动像素数/测量移动像素数)×测量间隙”来设立快门时间，其中，所述测量间隙是拍摄输入图像之间的时间，所述允许移动像素数是人眼可识别的抖动极限。
接收的输入图像可具有适合于显示实时取景的大小。
可根据等式“快门时间＝(允许移动像素数/测量移动像素数)×测量间隙×补偿系数”来设立快门时间，其中，所述测量间隙是拍摄输入图像之间的时间，所述允许移动像素数是人眼可识别的抖动极限，所述补偿系数是基于将被拍摄的图像的图像大小的常数。
所述文件大小或图像大小可被定义为拍摄和存储的图像的记录像素数，所述补偿系数被设立为与所述记录像素数成反比。
所述方法可包括：将感光度设立为与快门时间成反比。
根据本发明的另一方面，提供一种数字图像处理设备，所述设备包括：图像输入单元，接收输入图像；控制单元，从输入图像中检测移动物体，测量移动物体的移动量，并根据移动物体的移动量以及拍摄的图像的设立的文件大小或拍摄的图像的设立的图像大小，来设立拍摄操作期间的快门时间；快门操作单元，当拍摄操作被执行时，在所述快门时间期间操作。
快门操作单元可包括快门和快门驱动单元，所述快门驱动单元操作以在所述快门时间期间使快门打开。
可通过顺序接收两个或更多个输入图像并将所述两个或更多个输入图像进行比较，来检测移动物体。
所述移动量可被测量为：与移动物体在输入图像中移动的像素数对应的测量移动像素数。
快门时间可被设立为与所述测量移动像素数成反比。
快门时间可被设立为与所述文件大小或图像大小成反比。
所述文件大小或图像大小可被定义为拍摄和存储的图像的记录像素数。
接收的输入图像可具有所述记录像素数的大小，并且根据等式“快门时间＝(允许移动像素数/测量移动像素数)×测量间隙”来设立快门时间。
可根据等式“快门时间＝(允许移动像素数/测量移动像素数)×测量间隙×补偿系数”来设立快门时间。
所述文件大小或图像大小可被定义为拍摄和存储的图像的记录像素数，所述补偿系数被设立为与所述记录像素数成反比。
感光度可被设立为与快门时间成反比。
附图说明
通过参照附图对本发明示例性实施例的详细描述，本发明的上述和其他特点和优点将变得更加清楚，其中：
图1是作为数字图像处理设备的示例的数字相机的示例的后视图；
图2是包括在图1所示的数字相机中的控制设备的示例的框图；
图3是数字图像处理设备的示例的框图；
图4是控制数字图像处理设备的方法的示例的流程图；
图5是示出在图4所示的控制数字图像处理设备的方法中使用的关于记录像素数的补偿系数的示例的表；
图6是在图4所示的控制数字图像处理设备的方法中，当记录像素数被设立为全像素时，关于输入图像中的移动物体测量的测量移动像素数的示例的示意图；
图7是在图4所示的控制数字图像处理设备的方法中，当记录像素数被设立为全像素的1/4时，关于输入图像中的移动物体测量的测量移动像素数的示例的示意图。
具体实施方式
以下，将通过参照附图解释本发明的实施例来详细描述本发明。
图1是作为数字图像处理设备的示例的数字相机100的示例的后视图。
参照图1，可在数字相机100的后表面上设置方向按钮21、菜单-OK按钮22、广角变焦(wide-zoom)按钮W、远摄变焦(telephoto-zoom)按钮T和显示面板25。
方向按钮21可包括总共四个按钮，如向上按钮21A、向下按钮21B、向左按钮21C和向右按钮21D。方向按钮21和菜单-OK按钮22是用于执行数字相机100的各种菜单操作的输入键。
当广角变焦按钮W或远摄变焦按钮T被按下时，视角变宽或变窄。具体地讲，广角变焦按钮W或远摄变焦按钮T可用于改变选择的曝光区域的大小。在这种情况下，如果广角变焦按钮W被按下，则选择的曝光区域的大小可增大，如果远摄变焦按钮T被按下，则选择的曝光区域的大小可减小。
显示面板25可以是液晶显示器(LCD)。显示面板25可被包括在显示单元(图3中的350)中，用于显示输入图像的实时取景。扬声器SP可输出声音。
另外，可在数字相机100的前表面或顶表面上设置电源开关23、快门释放按钮24、闪光灯(未示出)和透镜单元(未示出)。
方向按钮21、菜单-OK按钮22、电源开关23和快门释放按钮24可被包括在用户操纵单元(图3中的360)中，用户可通过该用户操纵单元从数字相机100的外部输入期望的操纵信号。
电源开关23可用于将数字相机100接通电源或断开电源。在当前实施例中，快门释放按钮24打开或关闭快门(图2中的221)，以便将胶片或成像装置(如电荷耦合器件(CCD))曝光达预定时间段，其中，所述预定时间段的长度被设立。
在由本申请人提交的名称为“Method of automatically focusing using aquadratic function in camera(在相机中使用二次函数自动聚焦的方法)”的第20040130650号美国专利公布中公开了作为数字图像处理设备的示例的数字相机以及控制该数字相机的控制设备和方法，所述专利通过引用合并于此。
上述专利中公开的数字相机以及控制该数字相机的控制设备和方法被认为包括在本申请中，因此将省略对它的详细描述。
图2是数字图像处理设备的控制设备200的示例的框图。控制设备200可被包括在图1所示的数字相机100中，因此将结合图1描述图2。
参照图2，包括透镜单元和滤光器单元的光学系统OPS对来自对象的光进行光学处理。光学系统OPS的透镜单元包括变焦透镜、聚焦透镜和补偿透镜。如果用户按下包括在用户输入单元INP中的广角变焦按钮W或远摄变焦按钮T，则相应的信号被输入到微控制器212中。
相应地，微控制器212控制透镜驱动单元210以驱动变焦电机MZ，从而移动变焦透镜。更详细地讲，如果广角变焦按钮W被按下，则变焦透镜的焦距减小，因此透镜移动以使得视角变宽，如果远摄变焦按钮T被按下，则变焦透镜的焦距增大，因此透镜移动以使得视角变窄。
补偿透镜补偿总折射率，因此不被单独驱动。另外，光圈电机MA驱动光圈(未示出)。
在光学系统OPS的滤光器单元中，光学低通滤光器去除高频分量的光学噪声。红外阻隔滤光器阻隔入射光的红外分量。
光电转换单元OEC可包括成像装置，如CCD和互补金属氧化物半导体(CMOS)器件。光电转换单元OEC将从光学系统OPS接收的光转换为模拟电信号。
模数转换单元可包括相关双采样模数转换器(CDS-ADC)装置201。模数转换单元处理从光电转换单元OEC接收的模拟信号，以从模拟信号中去除高频噪声并调节模拟信号的幅度，然后将模拟信号转换为数字信号。在这种情况下，DSP 207控制时序电路202以控制光电转换单元OEC和模数转换单元的操作。
光学系统OPS、光电转换单元OEC和CDS-ADC装置201可被包括在图像输入单元(图3中的310)中。
实时时钟(RTC)203为DSP 207提供时间信息。DSP 207处理从CDS-ADC装置201接收的数字信号，以产生由亮度(Y)信号和色度(R，G，B)信号定义的数字图像信号。
由微控制器212驱动的发光单元LAMP可包括自拍(self-timer)灯、自动调焦灯、模式指示灯和闪光灯待命灯，其中，微控制器212受包括在DSP 207中的主控制器控制。
用户输入单元INP可包括方向按钮21、广角变焦按钮W和远摄变焦按钮T。另外，用户输入单元INP可被包括在用户操纵单元(图3的360)中。
动态随机存取存储器(DRAM)204临时存储从DSP 207接收的数字图像信号。电可擦除可编程只读存储器(EEPROM)205存储操作DSP 207所需的设置数据和算法，如引导程序和键输入程序。用户的存储卡可被连接到存储卡接口(MCI)206或从MCI 206分离。
DSP 207和/或微控制器212可被包括在控制单元(图3的320)中。
另外，DSP 207和/或微控制器212可包括高速缓冲存储器作为临时存储器。在这种情况下，高速缓冲存储器和DRAM 204可被包括在第一存储器(图3的330)中，用于临时存储输入图像、快门时间、感光度等。包括在第一存储器中的高速缓冲存储器可与DSP 207和/或微控制器212分离。
经存储卡接口(MCI)206识别的存储卡是用于存储拍摄的图像的非易失性存储器，并且可被包括在第二存储器(图3的340)中。第二存储器340可包括EEPROM 205，该EEPROM 205以非易失方式存储值，如允许移动像素数、测量间隙和补偿系数。稍后将详细描述这些值的说明。
从DSP 207接收的数字图像信号被输入到显示面板驱动单元214，其中，显示面板驱动单元214驱动显示面板215以在显示面板215上显示图像。
控制设备200还可包括显示单元，该显示单元包括显示面板215和用于驱动显示面板215的显示面板驱动单元214。显示面板驱动单元214和显示面板215可被包括在显示单元(图3的350)中。
另外，从DSP 207接收的数字图像信号可作为串行通信信号通过通用串行总线(USB)连接单元31a或者RS232C接口208及其连接单元31b被发送，或者可作为视频信号通过视频滤波器209和视频输出单元31c被发送。这里，DSP 207可包括微控制器212。
音频处理器213将从麦克风MIC接收的语音信号输出给DSP 207或扬声器SP，将从DSP 207接收的音频信号输出给扬声器SP。
在当前实施例中，在拍摄操作期间，快门221被打开或关闭，以将胶片或成像装置CCD曝光达设立的预定时间段。在拍摄操作期间，快门驱动单元222操作以在所述预定时间段期间使快门221打开。
图3是数字图像处理设备300的示例的框图。可通过稍后描述的控制方法(图4的S400)来控制数字图像处理设备300。
参照图3，数字图像处理设备300可包括图像输入单元310、控制单元320、第一存储器330、第二存储器340、显示单元350、用户操纵单元360以及快门操作单元370。
图像输入单元310接收输入图像。控制单元320从输入图像检测移动物体，测量移动物体的移动量，并根据移动物体的移动量以及拍摄的图像的设立的文件大小或者拍摄的图像的设立的图像大小来设立拍摄操作期间的快门时间。在拍摄操作期间，快门操作单元370在快门时间期间操作。
在这一方面，快门操作单元370可包括快门221和快门驱动单元222。在拍摄操作期间，快门221可被打开或关闭，以便将胶片或成像装置(如CCD)曝光达设立的时间段。在拍摄操作期间，快门驱动单元222可操作以在快门时间期间打开快门221。
如果用户半按快门释放按钮24，并且第一信号S1被输入，则在设立的快门时间期间，通过透镜输入的图像可通过打开快门221而入射在成像装置(如CCD)上。
在这一方面，数字图像处理设备300可根据快门速度的设立来设立快门时间。可与快门速度同步地自动设立感光度。即，如果快门速度慢(如果快门时间长)，则感光度的降低可导致接收足够量的光。
如果快门速度快(如果快门时间短)，则感光度的增加可导致在短时间段内接收足够量的光。在这种情况下，高感光度下的拍摄操作可引起噪声的增加。
数字图像处理设备300的示例从输入图像检测移动物体，测量移动物体的移动量，并根据移动物体的移动量以及将被拍摄的图像的设立的文件大小或者将被拍摄的图像的设立的图像大小来设立快门时间以拍摄图像。
用于拍摄图像的快门时间可被确定为足够小以减小由移动物体造成的图像中的抖动，并且在不使快门时间大于减小所述抖动所需的快门时间的情况下，也被确定为足够大以使得国际标准化组织(ISO)感光度可减小。由于感光度的增加使噪声增加，可拍摄具有较少来自移动物体的抖动或者没有所述抖动的图像，并且可减小由感光度产生的噪声。在实施例中，快门时间可被确定为仍能防止由移动物体造成的图像中的抖动的最大时间量。该最大时间量将使由于感光度的增加而产生的噪声的量最小化，并且仍能减小由于移动物体造成的抖动。
图像输入单元310可连续地接收两个帧图像作为输入图像。例如，当输入图像按照30帧每秒(fps)输入时，可按照1/30秒的间隔连续接收两个帧图像。
连续接收的输入图像可被显示在显示面板25(图1)上，作为实时取景。用于计算是否存在移动物体以及移动物体的移动量的输入图像可具有用于对输入图像的实时取景进行显示的像素大小，该像素大小不同于为拍摄和存储图像所设立的记录像素数。
可通过确定连续输入的两个帧图像之间的差异来检测移动物体。可通过比较两个帧图像中移动物体的位置来测量移动物体的移动量。移动物体的移动量可被测量为与从一帧图像至下一帧图像中移动物体移动的像素数对应的测量移动像素数。图6和图7示出了移动量的测量。
可从两个不同的帧图像检测移动物体61和62或者71和72(例如，移动物体61可在第一帧图像中，移动物体62可在第二帧图像中)，可分别测量移动物体61和62或者71和72的中心之间的距离作为测量移动像素数63或73。
在记录像素数被设立为全像素(full pixel)的图6中，测量移动像素数可以是10个像素。在参照记录像素数被设立为全像素的1/4的图7描述的实施例中，测量移动像素数可以是5。因此，在图7中，4个像素将被记录为一个像素。对于与图6所示的图像相同的输入图像，当记录像素数减小到1/4时，测量移动像素数减小1/2至5。
因此，基于移动物体的移动量以及用于将被拍摄的图像的设立的文件大小或用于将被拍摄的图像的设立的图像大小来确定用于拍摄图像的快门时间。另外，可基于快门时间确定ISO感光度。在这种情况下，ISO感光度可以与快门时间成反比。
如果移动物体的移动量增加，则可通过减小快门时间来拍摄没有抖动的图像。然而，当快门时间减小时，会需要更高的感光度，以补偿由于减小的快门时间造成的成像装置中接收的光减少的量。更高的感光度会增加拍摄的图像中的噪声。
因此，用于拍摄图像的快门时间可被计算为尽可能长，以拍摄没有移动物体所造成的抖动的图像，使得可在仍能减小或消除移动物体所引起的抖动的同时，使用较低的感光度。
另外，快门时间可被设立为与用于拍摄的图像的文件大小或图像大小成反比。用于拍摄的图像的文件大小或图像大小可被定义为拍摄的图像的记录像素数。
在图5所示的表中列出了与存储输入图像的拍摄图像的图像大小或文件大小对应的记录像素数。例如，如果文件和图像大小为10M字节，比例为4∶3，则记录像素数可以为3648×2736。
在这一方面，用于计算移动对象移动的像素数的输入图像可以是预定大小。例如，输入图像可以是具有预定大小的实时取景图像。在这种情况下，可不管用于记录将被拍摄的图像的像素数如何，从具有预定大小的图像计算移动物体移动的像素数。
由于实时取景图像的大小通常小于记录的图像的大小，所以可使用实时取景图像更有效地计算物体的移动。快门时间可与将被记录的图像的大小(或者用于将被记录的图像的像素数)成反比。可根据下面的等式1计算快门时间。
等式1：快门时间＝(允许移动像素数/测量移动像素数)×测量间隙×补偿系数。
所述测量间隙是拍摄输入图像之间的时间。补偿系数可与用于记录图像的像素数成反比。例如，如果用于记录图像的像素数增加，则补偿系数的大小可减小。另外，如果用于记录拍摄图像的图像的像素数减少，则补偿系数的大小可增大。用于记录图像的像素数可被称为拍摄的图像的记录像素数。图5示出了根据拍摄的图像的记录像素数设立的补偿系数。
可根据记录像素数来确定补偿系数，从而当记录像素数减少时增加快门时间。由于记录像素数减少，可由移动物体引起的抖动减小，因此快门时间可增加。并且，由于当快门时间增加时，感光度可减小，所以可在拍摄没有抖动的图像的同时减少噪声。
另外，可基于允许移动像素数来计算快门时间。允许移动像素数是允许的抖动极限。由于存在人眼识别的抖动量的极限，所以快门时间根据允许移动像素数而增加，从而减小感光度设置并减少噪声。
可选地，当通过调节允许移动像素数来减小记录像素数，而不考虑等式1中的补偿系数时，可实现充足的快门时间。
可选地，如果输入图像具有记录像素数的大小，则可根据下面的等式2来设立快门时间。
等式2：快门时间＝(允许移动像素数/测量移动像素数)×测量间隙。
以与等式1相同的方式来计算快门时间、允许移动像素数和测量间隙。然而，从记录像素数与将被拍摄和存储的图像的记录像素数相同的输入图像来计算快门时间，因此不需要用补偿系数基于记录像素数来调节快门时间。
参照图7，如果记录像素数减小，则对于与图6所示相同的移动量，测量移动像素数可减小。因此，当记录像素数减小时，可在防止将被拍摄的移动对象的图像的抖动增加的同时，增加快门时间，从而通过增加快门时间而减小感光度，并减少噪声。
再参照图3，图像输入单元310从外部装置接收输入图像。图像输入单元310可包括图2所示的光学系统OPS、光电转换单元OEC和CDS-ADC装置201。
控制单元320控制图像输入单元310、第一存储器330、第二存储器340、显示单元350、用户操纵单元360以及快门操作单元370，以设立快门时间和感光度，从而减小图像的抖动和噪声。控制单元320可包括图2所示的DSP 207和/或微控制器211。
第一存储器330和第二存储器340可存储输入图像和拍摄的图像。第一储存器330可临时存储输入图像和设立的值，如快门时间和感光度。第二存储器340可存储拍摄的图像和诸如允许移动像素数、测量间隙和补偿系数的值，作为非易失性值。
显示单元350可包括图1所示的显示面板25和/或图2所示的显示面板驱动单元214和显示面板215。
用户可通过用户操纵单元360从数字图像处理设备300的外部输入期望的指令。用户操纵单元360可包括图1所示的方向按钮21和菜单-OK按钮22和/或图2所示的用户输入单元INP。
检测包括在输入图像中的移动物体，根据移动物体的移动量设立快门速度，并根据设立的快门速度执行拍摄操作，从而拍摄噪声和抖动减小的图像。
图4是控制数字图像处理设备的方法S400的示例的流程图。图5是示出在图4所示的控制数字图像处理设备的方法中关于记录像素数的补偿系数的表。
可由图2所示的控制设备200和/或图3所示的数字图像处理设备300来执行方法S400。为此，方法S400可以是存储在图2所示的存储单元中或者以半导体芯片(如固件)的形式实现的程序或算法
因此，上述参照图2和图3的描述将不再重复，并且这里可被省略。
参照图4，方法S400可包括：在操作S420中，接收输入图像；在操作S430中，检测移动物体；在操作S450中，测量移动物体的移动量；在操作S460中，设立快门时间。
在操作S420中，接收输入图像。在操作S430中，从输入图像中检测移动物体。在操作S450，测量移动物体的移动量。在操作S460中，根据移动物体的移动量以及拍摄图像的设立的文件大小或者设立的图像大小来设立拍摄操作期间的快门时间。
如果输入快门释放按钮的操纵，则在设立的快门时间期间，通过透镜输入的图像可通过打开快门而入射在成像装置(如CCD)上。可根据快门速度的设立来设立快门时间。
具体地讲，在自动模式下的拍摄操作期间，可根据拍照条件或输入图像来设立快门时间。如果快门速度过慢，则当输入图像包括移动物体时，会拍摄包括抖动对象的图像。
如果快门速度过快，则会以高感光度来拍摄图像以在短时间段内接收足够量的光，这会增加噪声。
当前实施例的控制数字图像处理设备的方法S400从输入图像检测移动物体，测量移动物体的移动量，并根据移动物体的移动量以及拍摄的图像的设立的文件大小或拍摄的图像的设立的图像大小来设立拍摄操作期间的快门时间。
因此，根据设立的快门时间来执行拍摄操作，从而由于没有使快门时间长于所需的快门时间，同时减小了所需的感光度，因此能够拍摄来自移动物体的抖动极少或没有抖动并且噪声减少的图像。
控制数字图像处理设备的方法S400可包括：在操作S410中，输入第一信号S1。在操作S410中，输入与拍摄准备信号对应的第一信号S1。当确定第一信号S1输入时，可执行操作S420。
在操作S420，可连续接收两个或更多个输入图像。在这一方面，可输入两个连续的帧图像。例如，当按照30fps接收输入图像时，可按照1/30秒的间隔连续接收两个帧图像。
在这一方面，可将输入图像显示在显示面板25(图1)上作为实时取景。即，计算移动物体和移动物体的移动量所需的输入图像可具有用于显示输入图像的实时取景的大小，而与为拍摄和存储图像而设立的记录像素数无关。
可选地，输入图像可具有与拍摄和存储的图像相同的大小。即，计算移动物体和移动物体的移动量所需的输入图像可具有与为拍摄和存储图像设立的记录像素数对应的大小。
图5所示的表中列出了与存储输入图像的拍摄图像的文件大小或图像大小对应的记录像素数。例如，如果文件和图像大小为10M字节，比例为4∶3，则记录像素数可以为3648×2736。
在操作S430，可通过将在操作S420输入的两个或更多个输入图像比较来检测移动物体。可通过检测两个连续输入的帧图像之间的差异来检测移动物体。
控制数字图像处理设备的方法S400可包括：在操作S440中，确定是否检测到移动物体。如果确定检测到移动物体，则在操作S450，可测量移动物体的移动量。否则，在操作S480中，可执行拍摄待命操作。
在操作S480，等待与拍摄继续信号对应的第二信号S2的输入。当第二信号S2输入时，根据包括分别在操作S460和S470中设立的快门时间和感光度的多个设立值来执行拍摄操作。
在操作S450，测量移动物体的移动量。在这一方面，移动物体的移动量可被测量为与输入图像中移动物体移动的像素数对应的测量移动像素数。图6和图7中示出了移动量的测量的示例。
参照图6，当在控制数字图像处理设备的方法S400中记录像素数被设立为全像素时，关于输入图像60中的移动物体61和62示出了测量移动像素数63。
参照图6，分别从两个不同的帧图像检测移动物体61和62，可测量移动物体61和62的中心之间的距离作为测量移动像素数63。在这一方面，当记录像素数被设立为全像素时，测量移动像素数可以是10个像素。
参照图7，当在控制数字图像处理设备的方法S400中记录像素数被设立为全像素的1/4时，关于与图6所示的输入图像60相同的输入图像中的移动物体71和72示出了测量移动像素数73。
参照图7，分别从两个不同的帧图像检测移动物体71和72，可测量移动物体71和72的中心之间的距离作为测量移动像素数73。
在这一方面，当记录像素数被设立为全像素的1/4时，测量移动像素数可以是5个像素。即，对于与图6所示的输入图像60相同的输入图像，当记录像素数减小到1/4时，测量移动像素数减小1/2至5。
再参照图4，在操作S460，根据移动物体的移动量以及拍摄的图像的设立的文件大小或者拍摄的图像的设立的图像大小来设立拍摄操作期间的快门时间。控制数字图像处理设备的方法S400可包括：在操作S470，设立感光度。
在操作S470，可根据在操作S460中设立的快门时间来设立感光度。因此，可在分别在操作S460和S470中设立快门时间和感光度之后，执行操作S480。在这一方面，ISO感光度可被设立为与快门时间成反比。
更详细地讲，如果快门时间短，则成像装置通过增加ISO感光度来接收足够量的光，如果快门时间长，则成像装置可通过减小ISO感光度来接收少量的光。然而，高ISO感光度与低ISO感光度相比会增加噪声。
在这一方面，快门时间可被设立为与测量的移动量成反比。在作为预定时间间隙的测量间隙期间测量移动量，所述测量间隙被设立为与测量的移动量成反比，从而拍摄具有减小的噪声和与移动物体有关的抖动的图像。
即，如果移动物体的移动量增加，则可通过减小快门时间来拍摄没有抖动的图像。由于快门时间短，所以可设立高ISO感光度以在成像装置中接收足够量的光，这会增加噪声。
因此，计算用于拍摄没有抖动的图像的最长快门时间，在计算的最长快门时间内执行拍摄操作。即，通过实现去除噪声的最长快门时间，来使ISO感光度的增加最小化，从而在使抖动最小化的同时以最低ISO感光度执行拍摄操作。
同时，移动物体的移动量可被测量为与图6和图7所示的两个连续输入的帧图像中的移动物体之间的距离对应的移动像素数。
在这一方面，可在预定时间间隙期间按像素单元接收两个连续输入的帧图像。可测量这样的移动像素数：所述移动像素数对应于在两个连续输入的帧图像的每一个中检测到的移动物体的前一帧图像中的移动物体61和71的位置与下一帧图像中的移动物体62和72的位置之间的差异。在这一方面，可测量连续输入的两个帧图像的移动像素数作为与移动物体的移动量对应的测量移动像素数。
在这一方面，快门时间可被设立为与测量移动像素数成反比。更详细地讲，如果在与预定时间间隙对应的测量间隙期间测量的测量移动像素数大，则由于移动物体的移动量增大，所以快门时间可减小以拍摄没有抖动的图像。
如果在与预定时间间隙对应的测量间隙期间测量的测量移动像素数减小，则由于移动物体的移动量小，所以快门时间可增加，导致ISO感光度的减小，因此可减小噪声。
同时，快门时间可被设立为与设立的文件大小或设立的图像大小成反比。设立的文件大小和设立的图像大小可被定义为拍摄的图像的记录像素数。在这一方面，用于计算测量移动像素数的输入图像可具有预定大小。
即，输入图像可以是实时取景图像。在这种情况下，可不管拍摄的图像的计算像素数如何，从具有预定大小的图像计算测量移动像素数。由于实时取景图像的大小通常小于记录像素数，所以与从拍摄的图像计算测量移动像素数相比，可在更短的时间段内从实时取景图像有效地计算测量移动像素数。
在这种情况下，快门时间可被设立为与记录像素数成反比，其中，计算像素数对应于拍摄图像的文件大小或设立的图像大小。可根据等式1设立快门时间。
在这一方面，补偿系数可与记录像素数成反比。即，如果拍摄的图像的记录像素数增加，则补偿系数的大小可减小。另外，如果拍摄图像的记录像素数减少，则补偿系数的大小可被确定为增大。
图5示出了根据拍摄的图像的记录像素数设立的补偿系数。例如，如果与全像素对应的文件和图像大小为10M字节，比例为4∶3，则记录像素数可以为3648×2736，补偿系数可以为1。如果文件和图像大小为1M字节，比例为4∶3，则记录像素数可以为1024×768，补偿系数可以为3.562。
参照图7，如果记录像素数减小，则关于相同大小的移动量的测量移动像素数可减小。即，当记录像素数被设立为全像素的1/4时，测量移动像素数可以为5，而当记录像素数被设立为全像素时，测量移动像素数被测量为10。即，对于与图6所示的输入图像60相同的输入图像，当记录像素数减小到1/4时，测量移动像素数减小1/2。
因此，当记录像素数减小时，快门时间可增加，而不增加将被拍摄的移动物体的图像的抖动。因此，ISO感光度减小，这减少了噪声。
然而，当在等式1中不使用补偿系数时，由于从实时取景图像计算测量移动像素数，而不管拍摄的图像的记录像素数如何，所以当记录像素数减小时，快门时间不能增加。
因此，在当前实施例中使用根据记录像素数定义的补偿系数，从而在拍摄没有抖动的图像的同时减小噪声。
同时，可基于允许移动像素数计算快门时间。允许移动像素数是允许的最大抖动量。由于存在人眼识别的抖动量的极限，所以快门时间根据允许移动像素数而增加，从而防止感光度的增加并减小噪声。
可选地，当通过调节允许移动像素数来减小记录像素数，而不考虑等式1中的补偿系数时，可实现充足的快门时间。
可选地，输入图像可具有记录像素数的大小。在这种情况下，可根据等式2设立快门时间。以与等式1所示相同的方式来计算快门时间、允许移动像素数和测量间隙。然而，从记录像素数与将被拍摄和存储的图像的记录像素数相同的输入图像来计算快门时间。
参照图7，如果记录像素数减小，则对于与图6所示相同的移动量，测量移动像素数可减小。因此，当记录像素数减小时，可在防止将被拍摄的移动对象的图像的抖动增加的同时，增加快门时间，从而通过增加快门时间而减小感光度，并减少噪声。
根据本发明，从输入图像检测移动物体，根据移动物体的移动量设立快门时间，并根据设立的快门时间执行拍摄操作，从而拍摄具有减小的噪声和抖动的图像。
尽管已经参照本发明的示例性实施例具体地显示和描述了本发明，但是本领域普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在其中进行各种形式和细节上的改变。
Claims (22)
1.一种控制数字图像处理设备的方法，该方法包括：
接收输入图像；
在输入图像中检测移动物体；
测量移动物体的移动量；
根据移动物体的移动量，并根据将被拍摄的图像的设立的文件大小或将被拍摄的图像的设立的图像大小中的至少一个，来设立用于拍摄操作的快门时间。
2.根据权利要求1所述的方法，其中，通过顺序接收两个或更多个输入图像并将所述两个或更多个输入图像进行比较，来检测移动物体。
3.根据权利要求2所述的方法，其中，所述移动量被测量为：与移动物体在所述两个或更多个输入图像之间移动的像素数对应的测量移动像素数。
4.根据权利要求3所述的方法，其中，快门时间被设立为与所述测量移动像素数成反比。
5.根据权利要求1所述的方法，其中，快门时间被设立为与将被拍摄的图像的文件大小或将被拍摄的图像的图像大小中的至少一个成反比。
6.根据权利要求3所述的方法，其中，所述文件大小或图像大小被定义为拍摄和存储的图像的记录像素数。
7.根据权利要求6所述的方法，其中，接收的输入图像具有所述记录像素数的大小，并且根据等式“快门时间＝(允许移动像素数/测量移动像素数)×测量间隙”来设立快门时间，其中，所述测量间隙是拍摄输入图像之间的时间，所述允许移动像素数是人眼可识别的抖动极限。
8.根据权利要求3所述的方法，其中，接收的输入图像具有适合于显示实时取景的大小。
9.根据权利要求8所述的方法，其中，根据等式“快门时间＝(允许移动像素数/测量移动像素数)×测量间隙×补偿系数”来设立快门时间，其中，所述测量间隙是拍摄输入图像之间的时间，所述允许移动像素数是人眼可识别的抖动极限，所述补偿系数是基于将被拍摄的图像的图像大小的常数。
10.根据权利要求9所述的方法，其中，所述文件大小或图像大小被定义为拍摄和存储的图像的记录像素数，所述补偿系数被设立为与所述记录像素数成反比。
11.根据权利要求1所述的方法，所述方法还包括：将感光度设立为与快门时间成反比。
12.一种数字图像处理设备，所述设备包括：
图像输入单元，接收输入图像；
控制单元，从输入图像中检测移动物体，测量移动物体的移动量，并根据移动物体的移动量以及拍摄的图像的设立的文件大小或拍摄的图像的设立的图像大小，来设立拍摄操作期间的快门时间；
快门操作单元，当拍摄操作被执行时，在所述快门时间期间操作。
13.根据权利要求12所述的数字图像处理设备，其中，快门操作单元包括快门和快门驱动单元，所述快门驱动单元操作以在所述快门时间期间使快门打开。
14.根据权利要求12所述的数字图像处理设备，其中，通过顺序接收两个或更多个输入图像并将所述两个或更多个输入图像进行比较，来检测移动物体。
15.根据权利要求12所述的数字图像处理设备，其中，所述移动量被测量为：与移动物体在输入图像中移动的像素数对应的测量移动像素数。
16.根据权利要求15所述的数字图像处理设备，其中，快门时间被设立为与所述测量移动像素数成反比。
17.根据权利要求12所述的数字图像处理设备，其中，快门时间被设立为与所述文件大小或图像大小成反比。
18.根据权利要求15所述的数字图像处理设备，其中，所述文件大小或图像大小被定义为拍摄和存储的图像的记录像素数。
19.根据权利要求18所述的数字图像处理设备，其中，接收的输入图像具有所述记录像素数的大小，并且根据等式“快门时间＝(允许移动像素数/测量移动像素数)×测量间隙”来设立快门时间。
20.根据权利要求15所述的数字图像处理设备，其中，根据等式“快门时间＝(允许移动像素数/测量移动像素数)×测量间隙×补偿系数”来设立快门时间。
21.根据权利要求20所述的数字图像处理设备，其中，所述文件大小或图像大小被定义为拍摄和存储的图像的记录像素数，所述补偿系数被设立为与所述记录像素数成反比。
22.根据权利要求11所述的数字图像处理设备，其中，感光度被设立为与快门时间成反比。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090019858A KR101594291B1 (ko) | 2009-03-09 | 2009-03-09 | 디지털 영상 처리장치 및 그 제어방법 |
| KR10-2009-0019858 | 2009-03-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101834997A true CN101834997A (zh) | 2010-09-15 |
Family
ID=42677928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010133685A Pending CN101834997A (zh) | 2009-03-09 | 2010-03-09 | 数字图像处理设备和控制该数字图像处理设备的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8390734B2 (zh) |
| KR (1) | KR101594291B1 (zh) |
| CN (1) | CN101834997A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103376093A (zh) * | 2012-04-28 | 2013-10-30 | 宝山钢铁股份有限公司 | 用于tdi ccd相机对非匀速运动对象的成像方法和装置 |
| CN106161924A (zh) * | 2015-04-27 | 2016-11-23 | 宇龙计算机通信科技(深圳)有限公司 | 一种轨迹照片的拍摄方法、装置及移动终端 |
| CN109696184A (zh) * | 2017-10-24 | 2019-04-30 | 精工爱普生株式会社 | 编码器、机器人以及打印机 |
| CN110278367A (zh) * | 2018-03-14 | 2019-09-24 | 厦门歌乐电子企业有限公司 | 基于拍摄装置的人眼检测方法、系统、设备及其介质 |
| CN111147757A (zh) * | 2020-01-03 | 2020-05-12 | 浙江大华技术股份有限公司 | 摄像设备的光学防抖方法及装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2819395B1 (en) | 2013-06-27 | 2015-08-12 | Axis AB | Method and apparatus for setting a camera exposure time |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040130650A1 (en) * | 2002-10-09 | 2004-07-08 | Samsung Techwin Co., Ltd. | Method of automatically focusing using a quadratic function in camera |
| US20050128343A1 (en) * | 1997-06-05 | 2005-06-16 | Sanyo Electric Co., Ltd. | Camera apparatus with exposure correction based on movement of the object |
| US7030911B1 (en) * | 1999-09-28 | 2006-04-18 | Minolta Co., Ltd. | Digital camera and exposure control method of digital camera |
| CN101052988A (zh) * | 2005-06-22 | 2007-10-10 | 松下电器产业株式会社 | 图像生成装置及图像生成方法 |
| US20080024619A1 (en) * | 2006-07-27 | 2008-01-31 | Hiroaki Ono | Image Processing Apparatus, Image Processing Method and Program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060170816A1 (en) * | 2005-01-28 | 2006-08-03 | Silverstein D A | Method and system for automatically adjusting exposure parameters of an imaging device |
| JP2006287517A (ja) * | 2005-03-31 | 2006-10-19 | Casio Comput Co Ltd | カメラ装置、撮影方法並びに撮影プログラム |
| US8130278B2 (en) * | 2008-08-01 | 2012-03-06 | Omnivision Technologies, Inc. | Method for forming an improved image using images with different resolutions |
-
2009
- 2009-03-09 KR KR1020090019858A patent/KR101594291B1/ko active IP Right Grant
-
2010
- 2010-02-19 US US12/708,706 patent/US8390734B2/en active Active
- 2010-03-09 CN CN201010133685A patent/CN101834997A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050128343A1 (en) * | 1997-06-05 | 2005-06-16 | Sanyo Electric Co., Ltd. | Camera apparatus with exposure correction based on movement of the object |
| US7030911B1 (en) * | 1999-09-28 | 2006-04-18 | Minolta Co., Ltd. | Digital camera and exposure control method of digital camera |
| US20040130650A1 (en) * | 2002-10-09 | 2004-07-08 | Samsung Techwin Co., Ltd. | Method of automatically focusing using a quadratic function in camera |
| CN101052988A (zh) * | 2005-06-22 | 2007-10-10 | 松下电器产业株式会社 | 图像生成装置及图像生成方法 |
| US20080024619A1 (en) * | 2006-07-27 | 2008-01-31 | Hiroaki Ono | Image Processing Apparatus, Image Processing Method and Program |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103376093A (zh) * | 2012-04-28 | 2013-10-30 | 宝山钢铁股份有限公司 | 用于tdi ccd相机对非匀速运动对象的成像方法和装置 |
| CN103376093B (zh) * | 2012-04-28 | 2015-07-22 | 宝山钢铁股份有限公司 | 用于tdi ccd相机对非匀速运动对象的成像方法和装置 |
| CN106161924A (zh) * | 2015-04-27 | 2016-11-23 | 宇龙计算机通信科技(深圳)有限公司 | 一种轨迹照片的拍摄方法、装置及移动终端 |
| CN109696184A (zh) * | 2017-10-24 | 2019-04-30 | 精工爱普生株式会社 | 编码器、机器人以及打印机 |
| CN110278367A (zh) * | 2018-03-14 | 2019-09-24 | 厦门歌乐电子企业有限公司 | 基于拍摄装置的人眼检测方法、系统、设备及其介质 |
| CN110278367B (zh) * | 2018-03-14 | 2021-11-19 | 厦门歌乐电子企业有限公司 | 基于拍摄装置的人眼检测方法、系统、设备及其介质 |
| CN111147757A (zh) * | 2020-01-03 | 2020-05-12 | 浙江大华技术股份有限公司 | 摄像设备的光学防抖方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8390734B2 (en) | 2013-03-05 |
| KR101594291B1 (ko) | 2016-02-16 |
| US20100225801A1 (en) | 2010-09-09 |
| KR20100101391A (ko) | 2010-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7706674B2 (en) | Device and method for controlling flash | |
| KR101720776B1 (ko) | 디지털 영상 촬영 장치 및 이의 제어 방법 | |
| US20060092297A1 (en) | Method and apparatus for removing hot pixels in a digital camera | |
| KR101700363B1 (ko) | 적절한 밝기를 갖는 입체 영상을 생성하는 디지털 영상 촬영 장치 및 이의 제어 방법 | |
| US7733393B2 (en) | Digital camera comprising smear removal function | |
| KR101634247B1 (ko) | 피사체 인식을 알리는 디지털 촬영 장치, 상기 디지털 촬영 장치의 제어 방법 | |
| JP3860367B2 (ja) | 撮像装置 | |
| CN101931746B (zh) | 摄像装置以及摄像方法 | |
| JP2007311861A (ja) | 撮影装置及び方法 | |
| CN1838732A (zh) | 摄像装置 | |
| CN101834997A (zh) | 数字图像处理设备和控制该数字图像处理设备的方法 | |
| KR20060042312A (ko) | 디지털 카메라에서 고정 패턴 노이즈 제거 장치 및 방법 | |
| KR101770298B1 (ko) | 디지털 영상 촬영 장치 및 이의 제어 방법 | |
| KR20110090610A (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 | |
| JP4187512B2 (ja) | 撮像装置 | |
| JP5094324B2 (ja) | 撮像装置 | |
| JP2008263478A (ja) | 撮像装置 | |
| JP4533161B2 (ja) | 撮像装置及びその異物検出方法 | |
| JP4565276B2 (ja) | カメラ及びそのモード切換方法 | |
| JP2002044495A (ja) | 電子カメラ | |
| KR101643614B1 (ko) | 복수의 표시부들 각각에 다른 영상을 디스플레이할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법 | |
| JP4717645B2 (ja) | 撮像装置及びその制御方法 | |
| KR101436324B1 (ko) | 동영상으로부터 정지영상을 검출하는 디지털 영상 처리장치 및 이의 제어 방법 | |
| KR101431541B1 (ko) | 디지털 카메라에서 유효한 영상을 분류하는 방법 | |
| JP2004048242A (ja) | 電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: SAMSUNG ELECTRONICS CO., LTD. Free format text: FORMER OWNER: SAMSUNG TECHWIN CO., LTD. Effective date: 20101224 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20101224 Address after: Gyeonggi Do Korea Suwon Applicant after: Samsung Electronics Co., Ltd. Address before: Gyeonggi Do Korea Suwon Applicant before: Samsung Electronics Co., Ltd. |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100915 |