CN102393957A - 成像设备、成像方法、图像处理设备和图像处理方法 - Google Patents
成像设备、成像方法、图像处理设备和图像处理方法 Download PDFInfo
- Publication number
- CN102393957A CN102393957A CN201110175886XA CN201110175886A CN102393957A CN 102393957 A CN102393957 A CN 102393957A CN 201110175886X A CN201110175886X A CN 201110175886XA CN 201110175886 A CN201110175886 A CN 201110175886A CN 102393957 A CN102393957 A CN 102393957A
- Authority
- CN
- China
- Prior art keywords
- addition
- view data
- data
- image processing
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 76
- 238000003384 imaging method Methods 0.000 title claims description 37
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000005375 photometry Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 abstract description 15
- 238000007792 addition Methods 0.000 description 143
- 230000015654 memory Effects 0.000 description 53
- 238000000034 method Methods 0.000 description 41
- 230000033001 locomotion Effects 0.000 description 35
- 230000008569 process Effects 0.000 description 28
- 238000006243 chemical reaction Methods 0.000 description 21
- 238000011161 development Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000008878 coupling Effects 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 9
- 238000005859 coupling reaction Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000009795 derivation Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- YSCNMFDFYJUPEF-OWOJBTEDSA-N 4,4'-diisothiocyano-trans-stilbene-2,2'-disulfonic acid Chemical compound OS(=O)(=O)C1=CC(N=C=S)=CC=C1\C=C\C1=CC=C(N=C=S)C=C1S(O)(=O)=O YSCNMFDFYJUPEF-OWOJBTEDSA-N 0.000 description 4
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 244000188472 Ilex paraguariensis Species 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及成像设备、成像方法、图像处理设备和图像处理方法。一种图像处理设备包括:相加强度计算单元,在通过顺序拍摄获得的多条图像数据中所包括的第一图像数据和所述多条图像数据中所包括的第二图像数据之间的差异的基础上计算相加强度;相加处理单元,在相加强度的基础上执行第一图像数据和第二图像数据的相加处理。
Description
技术领域
本发明涉及一种成像设备、成像方法、成像程序、图像处理设备、图像处理方法和图像处理程序。
特别地,本发明涉及一种对被摄体的运动执行正确的降噪处理的成像设备、成像方法、成像程序、图像处理设备、图像处理方法和图像处理程序。
背景技术
在本领域中众所周知,作为成像设备的数字照相机已被广泛使用。在市场上对数字照相机的成像能力存在很高的要求。在市场上,始终需要与现有技术相比能够拍摄清楚、干净的图像的数字照相机。
为了使数字照相机拍摄清楚、干净的图像,大体上存在两种方法。一种方法是成像装置自身的技术革新。另一种方法是处理捕捉的图像数据的技术。
通常,如果由数字照相机在黑暗的地方拍摄任何被摄体的图像,则噪声可能出现在图像数据上。原本光滑的被摄体的表面由于噪声而变得粗糙,并且捕捉的图像的外观被破坏。
作为去除捕捉的图像中的噪声以获得清楚干净的图像的方法,存在一种称为“顺序拍摄、相加和噪声减小”的技术。
顺序拍摄、相加和噪声减小是指这样一种方法:(1)通过短时间内顺序成像(顺序拍摄)获得多条静止图像数据,(2)在彼此对齐的同时把第二或随后的静止图像数据加到第一静止图像数据,由此获得去除了噪声的一条静止图像数据。JP-A-2009-104284描述了与顺序拍摄、相加和噪声减小相关的技术内容。
发明内容
在以JP-A-2009-104284等为代表的现有技术的许多种类的顺序拍摄、相加和噪声减小之中,一种称为块匹配的已知技术用作实现图像数据对齐的技术。
块匹配有益地用于对一般风景或人物成像。然而,块匹配的基础在于找到图像中的纹理(即,颜色和明度(对比度)的变化的模式的相似性)的处理。这意味着块匹配取决于图像中的纹理。
可以说,在块匹配中,在平坦图像中纹理较弱。在成像目标不具有光滑表面,使得光源的光在几乎没有表面不平坦的情况下能够清楚地被反射的情况下,在数字照相机中无法容易地识别纹理。
几乎没有纹理的被摄体对应于例如婴儿的脸。
如果在婴儿的脸在很大程度上占据了数字照相机的成像框的状态下执行顺序拍摄、相加和噪声减小,则存在这样的可能性,即由于相加失败导致在产生的图像数据中出现图像不规则性(诸如,块噪声)。由于婴儿是可能移动的被摄体,所以在块匹配中被摄体的运动向量应该被识别为指示整个图像中的该被摄体正在移动(即,“局部运动”)的信息。然而,由于该被摄体的纹理较差,所以该被摄体的运动向量可能被错误地识别为指示整个图像正在移动(即,“全局运动”)的信息,从而由于相加失败引起图像不规则性。
为了防止由于相加失败导致的图像不规则性,考虑这样一种方法:在该方法中,更严格地执行块匹配。然而,块匹配在本质上具有极大量的算术处理。数字照相机属于典型便携式嵌入系统(微型计算机系统)。因此,如个人计算机等一样,可能无法提供快速算术处理。数字照相机应该利用有限的算术能力和功率消耗来解决上述问题。
因此,希望提供这样一种成像设备、成像方法、成像程序、图像处理设备、图像处理方法和图像处理程序:能够通过加入非常小量的算术处理、抑制由于在当时的相加失败导致的图像不规则性并对多数被摄体实现静止图像数据的令人满意的成像,从而有效地对无法容易地应用块匹配的被摄体执行顺序拍摄、相加和噪声减小。
根据本发明实施例的一种成像设备包括:成像处理单元,响应于预定成像指令顺序拍摄被摄体的图像,并输出多条图像数据;图像存储器,存储所述多条图像数据;相加强度计算单元,从图像存储器顺序读取图像数据并基于第一图像数据和第二或随后的图像数据之间的变化计算相加强度;相加强度表,存储从相加强度计算单元输出的相加强度;运动检测单元,从图像存储器顺序读取图像数据并输出第一图像数据和第二或随后的图像数据之间的运动向量;和相加处理单元,从图像存储器顺序读取图像数据,并在从运动检测单元输出的运动向量和顺序从相加强度表读取的相加强度的基础上执行用于把第二或随后的图像数据与第一图像数据相加的相加处理。
在第一图像数据和第二或随后的图像数据之间的变化的基础上预先计算相加强度。当执行顺序拍摄和相加处理时,相加的程度随着相加强度而改变,由此防止由于相加失败导致图像不规则性。
根据本发明的实施例,可以提供这样一种成像设备、成像方法、成像程序、图像处理设备、图像处理方法和图像处理程序:能够通过加入非常小量的算术处理、抑制由于在当时的相加失败导致的图像不规则性并对多数被摄体实现静止图像数据的令人满意的成像,从而有效地对无法容易地应用块匹配的被摄体执行顺序拍摄、相加和噪声减小。
附图说明
图1A和1B是数字照相机的前表面的外观示图和数字照相机的后表面的外观示图。
图2是数字照相机的硬件的方框图。
图3是数字照相机的功能方框图。
图4是相加强度计算单元的功能方框图。
图5是显影处理单元的功能方框图。
图6是显示这个实施例的数字照相机中使用顺序拍摄、相加和噪声减小的成像的操作的流程的流程图。
图7是显示相加强度计算单元中的相加强度计算处理的操作的流程的流程图。
图8是显示显影处理单元中的显影处理的操作的流程的流程图。
图9是数字照相机的功能方框图。
图10是图像处理设备的功能方框图。
具体实施方式
图1A是数字照相机的前表面的外观示图。图1B是数字照相机的后表面的外观示图。
数字照相机101在壳体102的前表面具有镜筒103,镜筒103中嵌入有变焦机构(未示出)和聚焦调整机构。镜头104装配在镜筒103中。闪光灯105设置在镜筒103侧。
快门按钮106设置在壳体102的上侧。
也用作取景器的液晶显示监视器107位于壳体102的后表面。多个操作按钮108设置在液晶显示监视器107的右侧。
容纳用作非易失性存储器的闪存的盖子设置在壳体102的下侧(未示出)。
这个实施例的数字照相机101是所谓的数字静止照相机,拍摄被摄体的图像以产生静止图像数据,并把静止图像数据记录在非易失性存储器中。数字照相机101还具有运动图像成像功能,在这个实施例中将不会提供对这个功能的描述。
图2是数字照相机101的硬件的方框图。
数字照相机101构成一般的微型计算机。
已知对于数字照相机101的总体控制而言所需的CPU 202、ROM 203和RAM 204连接到总线201。DSP 205也连接到总线201。DSP 205负责实现在这个实施例中描述的顺序拍摄、相加和噪声减小所需的、对大量数据(诸如,数字图像数据)的大量算术处理。
成像器件206把从由镜头104聚焦的被摄体发出的光转换成电信号。从成像器件206输出的模拟信号由A/D转换器207转换成RGB数字信号。
由电机驱动器208驱动的电机209通过镜筒103驱动镜头104,并执行聚焦和变焦控制。
闪光灯105由闪光灯驱动器210驱动以发光。
捕捉的数字图像数据以文件的形式被记录在非易失性存储器211中。
提供USB接口212,用于针对外部设备(诸如,个人计算机)发送和接收存储在非易失性存储器211中的文件。
显示单元213是液晶显示监视器107。
操作单元214包括快门按钮106和操作按钮108。
图3是数字照相机101的功能方框图。
当选择开关301连接图像存储器302和数据处理单元303时,从被摄体发出的光由镜头104聚焦在成像器件206上并被转换成电信号。在转换的信号由A/D转换器207转换成RGB数字信号之后,RGB数字信号在数据处理单元303中经受各种处理(诸如,数据分选、缺陷校正和调整尺寸),并通过选择开关301暂时存储在RAM204的图像存储器302中。
图像存储器302具有与执行顺序拍摄、相加和噪声减小所需的成像的次数对应的存储容量(条数)。作为例子,在这个实施例中,假设存储容量是6条(n=6)。
根据以上描述,镜头104、成像器件206、A/D转换器207和数据处理单元303能够被视为形成原始数字图像数据并把原始数字图像数据存储在图像存储器302中的成像处理单元。
选择开关301并未明确地表现为硬件,而是被提供用于明确地例示数字图像数据的流程的概念。
选择开关301也连接到相加强度计算单元304,相加强度计算单元304是本发明中的重要组成元件之一。
当选择开关301连接图像存储器302和相加强度计算单元304时,相加强度计算单元304顺序读取存储在图像存储器302中的六条数字图像数据,并粗略检测第二或随后的数字图像数据相对于第一数字图像数据改变了多少。在获得的值的基础上产生指示以下描述的显影处理单元305中的相加处理时的相加的量的称为“相加强度”的系数。产生的相加强度被顺序存储在RAM 204的相加强度表306中。
显影处理单元305也连接到选择开关301。
当选择开关301连接图像存储器302和显影处理单元305时,显影处理单元305顺序读取存储在图像存储器302中的六条数字图像数据,并详细地通过已知块匹配算法检测第二或随后的数字图像数据相对于第一数字图像数据移动了多少。在获得的运动向量的基础上执行相加处理。在相加处理时,参考由相加强度计算单元304产生的相加强度表306。数字图像数据被转换成已知JPEG格式等并以文件的形式被记录在非易失性存储器211中。
这个实施例的数字照相机101使用顺序拍摄、相加和噪声减小执行成像。使用顺序拍摄、相加和噪声减小的成像具有下面的流程。
(1)首先,在选择开关301连接图像存储器302和数据处理单元303的状态下,成像处理单元在图像存储器302中积累原始数字图像数据(成像处理)。
(2)接下来,在选择开关301连接图像存储器302和相加强度计算单元304的状态下,相加强度计算单元304顺序从图像存储器302读取数字图像数据,计算相加强度,并把相加强度存储在相加强度表306中(相加强度计算处理)。
(3)最后,在选择开关301连接图像存储器302和显影处理单元305的状态下,显影处理单元305顺序从图像存储器302读取数字图像数据,执行相加处理和JPEG格式的转换处理,并把JPEG编码的图像数据文件记录在非易失性存储器211中(显影处理)。
控制单元307根据操作单元214的操作等控制成像器件206、A/D转换器207、数据处理单元303、相加强度计算单元304、选择开关301和显影处理单元305。通过显示单元213显示成像器件206上形成的图像,并且根据操作单元214的操作还显示各种设置屏幕。
图4是相加强度计算单元304的功能方框图。
检测单元401执行“检测处理”,用于通过选择开关402读取存储在图像存储器302中的原始数字图像数据。在这个实施例中,检测处理是多模式测光框的亮度计算处理。也就是说,数字图像数据由具有预先设置的相同尺寸的“框”水平和垂直地分割,并且计算每个框中所包括的像素数据的亮度的积分值。从检测单元401输出的数据具有与测光框的数量对应的各测光框的积分值。
多模式测光框是例如栅格形框,在该多模式测光框中,图像被水平和垂直地分割成20条。在实际处理的情况下,并不明确地提供“框”的数据,属于任何“框”的地址的像素布置为单个排列数据。
虽然选择开关402不同于图3的选择开关301,但类似于选择开关301,选择开关402并未明确地表现为硬件,而是被提供用于明确地例示数字图像数据的流程的概念。
开关403连接到检测单元401的输出侧。如果读取存储在图像存储器302中的第一数字图像数据并执行预定算术处理,则检测单元401通过开关403把数据输出到参考值表404。类似地,关于存储在图像存储器302中的第二或随后的数字图像数据,检测单元401通过开关403把数据输出到比较值表405。
类似于图像存储器302,参考值表404和比较值表405设置在RAM 204中。参考值表404和比较值表405中的每一个的记录的数量与多模式测光框中提供的测光框的数量相同。由于这个原因,当检测单元401读取存储在图像存储器302中的第二或随后的数字图像数据并输出数据时,通过每次读取数字图像数据的比较值表405改写比较值表405的内容。
第一减法器406针对每个记录用参考值表404的每个记录中存储的亮度值减去比较值表405中存储的每个记录的亮度值,并把获得的数据存储在移动量表407中。类似于图像存储器302,移动量表407也设置在RAM 204中。
移动量表407的每个记录中存储的亮度的差异的值(以下,称为“亮度差值”)被读取到平均值计算单元408和最大值计算单元409中。
平均值计算单元408计算移动量表407的每个记录的亮度差值的平均值,并把该平均值存储在平均值存储器410中。平均值存储器410是设置在RAM 204中的变量。
最大值计算单元409把移动量表407的每个记录的亮度差值的绝对值与平均值存储器410中存储的平均值进行比较,获得具有最大差值的值作为最大值,并把该值存储在最大值存储器411中。类似于平均值存储器410,最大值存储器411是设置在RAM 204中的变量。
平均值存储器410中存储的平均值和最大值存储器411中存储的最大值被输入到第二减法器412,并且输出通过用该最大值减去该平均值获得的值。这个值具有整个图像的粗略运动量的含义。
如果在作为比较标准的第一数字图像数据和作为比较目标的数字图像数据之间不存在运动,则移动量表407的每个记录的值是“0”,平均值和最大值是“0”,并且第二减法器412的输出值是“0”。然而,如果在作为比较标准的数字图像数据和作为比较目标的数字图像数据之间存在运动,则通过比较每个多模式测光框中的亮度,在任何测光框中亮度可改变。亮度的改变源自平均值和绝对值之间的差异,由此粗略地检测在整个图像中是否存在运动。
从第二减法器412输出的相减值被输入到相加强度推导单元413。相加强度推导单元413参照由控制单元307通过选择指针415选择的根据场景的转换表组414的一个记录中所包括的转换表获得与相减值对应的相加强度,并把相加强度记录在相加强度表306中。将要获得的相加强度根据来自控制单元307的聚焦信息而改变。
根据场景的转换表组414设置在ROM 203中,并且是按照各个成像场景存储的转换表的集合。转换表是指用于把从第二减法器412输入的相减值转换成相加强度的表。
转换表是与相减值对应的相加强度的对应表,其中例如如果相减值等于或大于“0”并小于“3”,则相加强度设置为“10”;如果相减值等于或大于“3”并小于“10”,则相加强度设置为“5”;如果相减值等于或大于“10”并小于“15”则相加强度设置为“3”;并且如果相减值等于或大于“15”则相加强度设置为“0”。
成像场景是用于根据被摄体的类型设置最佳成像状态的选择值,并且是安装在近来的小型数字照相机或移动电话的数字照相机功能元件中的功能。例如,存在能够利用平均设置值灵活应对任何被摄体的“自动”、对于室内人物最佳的“室内肖像”、对于室外人物最佳的“室外肖像”、对于室外风景最佳的“室外风景”、对于夜景最佳的“夜景”、对于特写最佳的“特写”、在背光状态下最佳的“背光”、对婴儿的近距离成像最佳的“婴儿”等。RAM 204存储“自动”作为由控制单元307预先在ROM203中存储的给定值或通过用户在数字照相机101上的操作设置的成像场景的指定信息。
根据场景的转换表组414在每个记录中存储对于成像场景(即,将要成像的被摄体)最佳的转换表。在考虑从数字照相机101到被摄体的距离、成像场景的亮度和纹理的情况下确定每个记录的转换表中设置的转换值。
例如,在“室外风景”的情况下,由于与被摄体的距离较远,所以整个图像的运动量较小并且能够清楚地识别纹理。因此,相加强度能够设置为较大值。
在“婴儿”的情况下,由于与被摄体的距离非常近并且被摄体移动很多,所以整个图像的运动量增加,使得难以识别纹理。由于这个原因,如果相加强度较大,则可能发生相加失败。因此,优选地减小相加强度。
相加强度推导单元413能够参照来自控制单元307的聚焦信息改变从转换表获得的相加强度。
由于数字照相机101的用户的模糊或者基于用户意愿的数字照相机101的移动以及被摄体自身的运动而发生图像的运动。随着被摄体变得接近数字照相机101,图像的运动增加。使用通过由控制单元307执行的电机209的驱动控制获得的聚焦信息改变从转换表获得的相加强度。
例如,当被摄体存在于与数字照相机101相隔大约50cm内的距离时,把从转换表获得的相加强度乘以常数“0.6”,从而相加强度设置为较小。否则,相加强度不改变。
通过上述过程获得的相加强度通过选择指针416存储在相加强度表306中。相加强度表306的记录的数量比图像存储器302中存储的数字图像数据的条数小一。在这个实施例中,由于六条数字图像数据存储在图像存储器302中,所以相加强度表306的记录的数量是5。
图5是显影处理单元305的功能方框图。
运动检测单元501通过选择开关502顺序读取存储在图像存储器302中的六条数字图像数据,详细地通过已知块匹配算法检测第二或随后的数字图像数据相对于第一数字图像数据移动了多少,并计算运动向量。
相加处理单元503在由运动检测单元501获得的运动向量的基础上执行相加处理。在相加处理时,使用由相加强度计算单元304产生的相加强度表306的值作为当与第二或随后的数字图像数据相加时的系数执行相加处理。
如果相加处理单元503完成相加处理,则由编码器504按照已知JPEG格式等对数字图像数据进行转换并以文件的形式被记录在非易失性存储器211中。
[操作]
图6是显示这个实施例的数字照相机101中使用顺序拍摄、相加和噪声减小的成像的操作的流程的流程图。
如果按下快门按钮106(S601),则最初成像处理单元执行n条图像数据的顺序成像处理,并把n条图像数据存储在图像存储器302中(S602)。接下来,相加强度计算单元304执行相加强度计算处理(S603)。最后,显影处理单元305执行显影处理(S604),并结束一系列处理(S605)。
图7是显示相加强度计算单元304中的相加强度计算处理的操作的流程的流程图。图7显示图6的步骤S603的细节。
如果处理开始(S701),则最初检测单元401通过由控制单元307控制的选择开关402读取图像存储器302中的第一图像数据,并执行检测处理,即多模式测光框的亮度计算处理。亮度计算处理的结果的值通过开关403存储在参考值表404中(S702)。
接下来,控制单元307在RAM 204中提供计数器变量i,并存储“2”作为初始值(S703)。
随后的处理是循环处理。
检测单元401通过由控制单元307控制的选择开关402读取图像存储器302中的第i个图像数据,并执行检测处理。亮度计算处理的结果的值通过由控制单元307控制的开关403存储在比较值表405中(S704)。
如果亮度计算处理的结果的值存储在比较值表405的所有记录中,则第一减法器406用参考值表404的每个记录的值减去比较值表405的每个记录的值,并把获得的值存储在移动量表407中(S705)。
如果第一减法器406的算术结果的值存储在移动量表407的所有记录中,则接下来平均值计算单元408计算移动量表407的所有记录的值的平均值,并把该平均值存储在平均值存储器410中(S706)。
接下来,在获得移动量表407的所有记录的值的绝对值之后,最大值计算单元409参照平均值存储器410中存储的平均值提取绝对值的最大值,并把该最大值存储在最大值存储器411中(S707)。
通过步骤S706和S707,称为移动量表407的排列数据(向量数据)被转换成称为平均值和最大值的标量值。
如果平均值和最大值分别存储在平均值存储器410和最大值存储器411中,则第二减法器412用该最大值减去该平均值以计算作为标量值的“运动量”(S708)。
从第二减法器412输出的运动量被提供给相加强度推导单元413。相加强度推导单元413在从控制单元307获得的场景信息的基础上通过选择指针415从根据场景的转换表组414读取相应成像场景的转换表。接下来,对照转换表核对运动量以获得相加强度。从控制单元307获得焦距并把该焦距与预先设置的阈值进行比较。该阈值是例如50cm。当焦距低于该阈值时,相加强度应该设置为小,从而相加强度乘以预先设置的预定系数。该系数是例如0.7。
以上述方式获得的相加强度通过选择指针416被存储在相加强度表306的第i个记录中(S709)。
接下来,控制单元307使计数器变量i增加(S710),并核查计数器变量i是否超过图像存储器302中存储的图像数据的条数(S711)。如果计数器变量i等于或小于图像数据的条数(S711中的“否”),则从步骤S704重复处理。如果计数器变量i超过图像数据的条数(S711中的“是”),则一系列处理结束(S712)。
图8是显示显影处理单元305中的显影处理的操作的流程的流程图。图8显示图6的步骤S604的细节。
如果处理开始(S801),则最初控制单元307在RAM 204中提供计数器变量i,并存储“1”作为初始值(S802)。
随后的处理是循环处理。
运动检测单元501通过由控制单元307控制的选择开关502详细地根据已知块匹配算法检测第i个数字图像数据相对于第一数字图像数据移动了多少,并计算运动向量(S803)。
接下来,相加处理单元503在由运动检测单元501获得的运动向量的基础上执行把第i个数字图像数据加到第一数字图像数据的相加处理。在相加处理时,读取由相加强度计算单元304产生的相加强度表306的第i个记录的值,并使用读取的值作为用于相加处理的系数执行相加处理(S804)。
接下来,控制单元307使计数器变量i增加(S805),并核查计数器变量i是否等于或大于图像存储器302中存储的图像数据的条数(S806)。如果计数器变量i小于图像数据的条数(S806中的“否”),则从步骤S802重复处理。如果计数器变量i等于或大于图像数据的条数(S806中的“是”),则相加处理单元503的相加处理结束。因此,获得的图像数据以预定图像格式被编码(S807),图像数据文件被记录在非易失性存储器211中(S808),并且一系列处理结束(S809)。
关于这个实施例,能够进行下面的应用。
(1)由这个实施例的数字照相机101实现的技术是顺序拍摄、相加和噪声减小的改进。参照图3和图6,该技术是除成像处理单元的处理之外的成像之后的图像处理的改进。参照图2,该技术是微型计算机的控制程序和DSP的算术处理程序的改进,即软件的改进。
因此,考虑系统构造以使得通过使用近年来倾向于具有高容量的闪存的特性,数字照相机自身仅执行顺序拍摄而不执行顺序拍摄、相加和噪声减小的图像处理部分,并且图像处理部分被委托给外部信息处理设备(诸如,个人计算机)。
图9是数字照相机的功能方框图。通过与图3的数字照相机101比较,未提供与顺序拍摄、相加和噪声减小的改进相关的功能方框,即选择开关301、图像存储器302、相加强度计算单元304、相加强度表306和显影处理单元305。
图9中显示的数字照相机901仅执行顺序拍摄功能,并且编码器902使用无损压缩算法执行编码处理以防止图像劣化。也就是说,替代于基于已知有损压缩方案的JPEG,使用无损压缩算法以诸如JPEG EX、PNG或TIFF的格式把通过顺序拍摄获得的图像数据文件903记录在非易失性存储器211中。必须单独存储至少焦距信息作为在当时的成像信息。在成像信息文件904中描述成像信息并且成像信息被记录在非易失性存储器211中。
图10是图像处理设备的功能方框图。个人计算机读取并执行与顺序拍摄、相加和噪声减小的图像处理相关的程序,从而个人计算机实现图像处理设备1001的功能。
从数字照相机901卸下的非易失性存储器211(诸如,闪存)通过接口(未示出)连接到个人计算机,或者数字照相机901通过USB接口212连接到个人计算机,从而非易失性存储器211连接到个人计算机中的解码器1002。解码器1002读取存储在非易失性存储器211中的作为顺序拍摄的结果的图像数据文件903,把图像数据文件转换成原始图像数据,并通过选择开关301把原始图像数据存储在图像存储器302中。由于在非易失性存储器211中存在成像信息文件904,所以控制单元1003读取成像信息文件904并获取焦距。
图像数据存储在图像存储器302中之后的操作与图3的数字照相机101相同。
如果数字照相机901和图像处理设备1001如上构造,则有益之处在于,仅通过更新固件以在具有不足的算术处理能力的前代数字照相机中安装使用顺序拍摄功能和无损压缩算法的编码器,前代数字照相机的用户能够基本上享受顺序拍摄、相加和噪声减小的功能。
图10的图像处理设备1001是使用捕捉的图像数据文件903和成像信息文件904执行后处理的设备。因此,在改变将要设置的成像场景的同时相加强度计算单元304运行,从而能够按照所需的次数反复开始顺序拍摄、相加和噪声减小的处理。通常,由于与数字照相机901相比个人计算机具有高算术能力,所以如果进行设计以使得后处理与数字照相机901分开并被委托给个人计算机,则应该满足数字照相机901仅具有高容量非易失性存储器211和无损压缩算法的编码器902。也就是说,由于数字照相机901可以不具有大规模算术能力,所以这能够有助于数字照相机901的尺寸的进一步减小和低功率消耗。
(2)在能够检测整个屏幕的粗略运动的情况下,任何多模式测光框可用于检测单元401的检测处理,并且可以使用比运动检测单元501中用于运动检测的框更大的框。多模式测光框的高宽比可以与整个屏幕的高宽比不同。
(3)在图8的步骤S804中,当相加处理单元503执行相加处理时,作为比较从相加强度表306读取的相加强度与预定阈值的结果,如果相加强度低于该阈值,则能够确定相加处理是毫无意义的。由于这个原因,可以进一步提供处理以使得不执行随后的相加处理。例如,当与第三图像数据对应的相加强度小于阈值“0.2”时,能够确定进一步的相加处理是毫无意义的。从“顺序拍摄”的角度来看,不存在随后图像数据的运动减小的可能性。换句话说,不存在与随后图像数据对应的相加强度超过该阈值的可能性。因此,如果确定不对第三图像数据执行相加处理,则相加处理自身结束,由此节省运动检测单元501和相加处理单元503中的处理并减少整个显影处理所需的时间。
(4)替代转换表,可以在根据场景的转换表组414中设置预定函数或伪函数,并且相加强度可以相对于第二减法器412的算术结果的变化连续改变。
(5)可以在相加强度推导单元413中设置对应于焦距而改变的偏置函数,并且相加强度可以相对于焦距的变化连续改变。
在这个实施例中,描述了数字照相机和图像处理设备。
当执行顺序拍摄、相加和噪声减小时,计算每个多模式测光框中的亮度的平均值,计算整个屏幕的亮度的平均值和绝对值的最大值之间的移动量并且把该移动量设置为用于整个屏幕的运动的索引。根据成像场景参照转换表和焦距计算相加强度,并且把相加强度设置为用于相加处理的系数。
当对不容易应用现有技术的顺序拍摄、相加和噪声减小并具有少量纹理、短焦距和大量运动的被摄体成像时,通过具有少量计算的处理获得在基于块匹配检测运动向量时出现失败的可能性作为用于相加处理的系数,并且通过减弱相加处理排除该可能性,从而使得可以防止由于相加不规则性导致图像干扰。
虽然已描述了本发明的实施例,但本发明不限于前面的实施例,并且在不脱离所附权利要求中描述的本发明的范围的情况下,可以做出其它修改和应用。
本发明包含与2010年7月5日提交给日本专利局的日本优先权专利申请JP 2010-153119公开的主题相关的主题,其全部内容包含于此以资参考。
Claims (8)
1.一种图像处理设备,包括:
相加强度计算单元,在通过顺序拍摄获得的多条图像数据中所包括的第一图像数据和所述多条图像数据中所包括的第二图像数据之间的差异的基础上计算相加强度;
相加处理单元,在相加强度的基础上执行第一图像数据和第二图像数据的相加处理。
2.如权利要求1所述的图像处理设备,其中第一图像数据是基于顺序拍摄中的第一成像的图像数据,
相加强度计算单元在第一图像数据和除第一图像数据之外的所述多条图像数据中所包括的每条图像数据之间的差异的基础上计算针对每条图像数据的相加强度,
相加处理单元在针对每条图像数据的相加强度的基础上执行第一图像数据和除第一图像数据之外的所述多条图像数据的相加处理。
3.如权利要求2所述的图像处理设备,其中在每个多模式测光框中检测的亮度的基础上检测所述差异。
4.如权利要求1所述的图像处理设备,其中相加强度计算单元在与每条图像数据对应的聚焦信息的基础上计算针对每条图像数据的相加强度。
5.如权利要求1所述的图像处理设备,其中相加强度计算单元在当拍摄图像数据时的成像场景的基础上计算相加强度。
6.如权利要求1所述的图像处理设备,其中相加处理单元按照顺序拍摄中成像的次序执行所述多条图像数据的相加处理,并在相加强度小于预定值时结束随后的相加处理。
7.一种图像处理方法,包括:
在通过顺序拍摄获得的多条图像数据中所包括的第一图像数据和所述多条图像数据中所包括的第二图像数据之间的差异的基础上计算相加强度;
在相加强度的基础上执行第一图像数据和第二图像数据的相加处理。
8.一种使计算机用作图像处理设备的图像处理程序,其中该图像处理设备包括:
相加强度计算单元,在通过顺序拍摄获得的多条图像数据中所包括的第一图像数据和所述多条图像数据中所包括的第二图像数据之间的差异的基础上计算相加强度;
相加处理单元,在相加强度的基础上执行第一图像数据和第二图像数据的相加处理。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010153119A JP5521836B2 (ja) | 2010-07-05 | 2010-07-05 | 撮像装置及び画像処理装置 |
JP2010-153119 | 2010-07-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102393957A true CN102393957A (zh) | 2012-03-28 |
Family
ID=45399438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110175886XA Pending CN102393957A (zh) | 2010-07-05 | 2011-06-28 | 成像设备、成像方法、图像处理设备和图像处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120002069A1 (zh) |
JP (1) | JP5521836B2 (zh) |
CN (1) | CN102393957A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554179A (zh) * | 2020-04-23 | 2021-10-26 | 丰田自动车株式会社 | 信息处理系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5689827B2 (ja) | 2011-02-01 | 2015-03-25 | 株式会社豊田中央研究所 | 緯糸張力付与装置 |
USD695802S1 (en) * | 2012-05-31 | 2013-12-17 | Samsung Electronics Co., Ltd. | Digital camera |
JP6316534B2 (ja) * | 2012-09-25 | 2018-04-25 | シャープ株式会社 | 撮像装置および撮像装置制御方法 |
KR20150024098A (ko) * | 2013-08-26 | 2015-03-06 | 삼성전자주식회사 | 디지털 카메라에서 사진 합성 방법 및 장치 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030234866A1 (en) * | 2002-06-21 | 2003-12-25 | Ross Cutler | System and method for camera color calibration and image stitching |
US6909457B1 (en) * | 1998-09-30 | 2005-06-21 | Canon Kabushiki Kaisha | Camera control system that controls a plurality of linked cameras |
US20060056733A1 (en) * | 2004-09-14 | 2006-03-16 | Konica Minolta Photo Imaging, Inc. | Image comparing method, computer program product, and image comparing apparatus |
TW200930045A (en) * | 2007-12-31 | 2009-07-01 | Altek Corp | Method for color transformation and prospect transfer of image device |
US20090185721A1 (en) * | 2007-12-29 | 2009-07-23 | Masaki Hiraga | Image data processing method and image processing apparatus |
CN101563710A (zh) * | 2006-05-22 | 2009-10-21 | 安讯士有限公司 | 识别由视频监视摄像机检测到的对象的特性的方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4882956B2 (ja) * | 2007-10-22 | 2012-02-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP5428210B2 (ja) * | 2008-06-11 | 2014-02-26 | ソニー株式会社 | 情報処理装置、撮像システム、録画制御方法及びプログラム |
-
2010
- 2010-07-05 JP JP2010153119A patent/JP5521836B2/ja not_active Expired - Fee Related
-
2011
- 2011-06-02 US US13/151,620 patent/US20120002069A1/en not_active Abandoned
- 2011-06-28 CN CN201110175886XA patent/CN102393957A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6909457B1 (en) * | 1998-09-30 | 2005-06-21 | Canon Kabushiki Kaisha | Camera control system that controls a plurality of linked cameras |
US20030234866A1 (en) * | 2002-06-21 | 2003-12-25 | Ross Cutler | System and method for camera color calibration and image stitching |
US20060056733A1 (en) * | 2004-09-14 | 2006-03-16 | Konica Minolta Photo Imaging, Inc. | Image comparing method, computer program product, and image comparing apparatus |
CN101563710A (zh) * | 2006-05-22 | 2009-10-21 | 安讯士有限公司 | 识别由视频监视摄像机检测到的对象的特性的方法及装置 |
US20090185721A1 (en) * | 2007-12-29 | 2009-07-23 | Masaki Hiraga | Image data processing method and image processing apparatus |
TW200930045A (en) * | 2007-12-31 | 2009-07-01 | Altek Corp | Method for color transformation and prospect transfer of image device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554179A (zh) * | 2020-04-23 | 2021-10-26 | 丰田自动车株式会社 | 信息处理系统 |
CN113554179B (zh) * | 2020-04-23 | 2024-02-09 | 丰田自动车株式会社 | 信息处理系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5521836B2 (ja) | 2014-06-18 |
JP2012015959A (ja) | 2012-01-19 |
US20120002069A1 (en) | 2012-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016023406A1 (zh) | 物体运动轨迹的拍摄方法、移动终端和计算机存储介质 | |
US8494306B2 (en) | Method and an apparatus for creating a combined image | |
US8629915B2 (en) | Digital photographing apparatus, method of controlling the same, and computer readable storage medium | |
US10129488B2 (en) | Method for shooting light-painting video, mobile terminal and computer storage medium | |
US10419661B2 (en) | Shooting method and shooting device | |
US20170134666A1 (en) | Method and apparatus for shooting star trail video, and computer storage medium | |
US9420181B2 (en) | Electronic camera, computer readable medium recording imaging control program thereon and imaging control method | |
JP5609742B2 (ja) | 撮像装置、画像合成方法、及びプログラム | |
CN104902182B (zh) | 一种实现连续自动对焦的方法和装置 | |
CN102469244B (zh) | 用于对被摄体进行连续摄像的摄像装置 | |
CN102393957A (zh) | 成像设备、成像方法、图像处理设备和图像处理方法 | |
KR102698647B1 (ko) | 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법 | |
CN101309413A (zh) | 图像数据压缩装置和图像数据压缩方法 | |
US20120081560A1 (en) | Digital photographing apparatus and method of controlling the same | |
KR20150078275A (ko) | 움직이는 피사체 촬영 장치 및 방법 | |
US20120127335A1 (en) | Image capture with region-based adjustment of contrast | |
JP5182253B2 (ja) | 撮像装置 | |
US8717457B2 (en) | Adaptive spectral imaging for video capture | |
CN101309414B (zh) | 图像数据压缩装置和图像数据压缩方法 | |
JP5790858B2 (ja) | 画像合成装置、画像合成方法、及びプログラム | |
JP5094665B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
KR101476650B1 (ko) | 디지털 영상 처리기에서 연속 촬영된 영상 데이터 처리장치 및 방법 | |
US8493462B2 (en) | Image processing apparatus, photographing apparatus and control method for compressing images | |
US9955135B2 (en) | Image processing apparatus, image processing method, and program wherein a RAW image to be subjected to special processing is preferentially subjected to development | |
JP2013123090A (ja) | 画像処理装置、撮像装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C05 | Deemed withdrawal (patent law before 1993) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120328 |