CN104205804B - 图像处理装置、拍摄装置以及图像处理方法 - Google Patents
图像处理装置、拍摄装置以及图像处理方法 Download PDFInfo
- Publication number
- CN104205804B CN104205804B CN201380017049.1A CN201380017049A CN104205804B CN 104205804 B CN104205804 B CN 104205804B CN 201380017049 A CN201380017049 A CN 201380017049A CN 104205804 B CN104205804 B CN 104205804B
- Authority
- CN
- China
- Prior art keywords
- image
- composograph
- benchmark
- generation unit
- reducing noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 102
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 36
- 230000009467 reduction Effects 0.000 claims abstract description 6
- 239000002131 composite material Substances 0.000 claims description 13
- 230000000694 effects Effects 0.000 description 33
- 230000006870 function Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 239000000203 mixture Substances 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000009347 mechanical transmission Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Abstract
使非基准图像的同一被摄体图像的位置与基准图像对应地变形而生成变形图像(S111),对基准图像进行降低噪声的处理而生成噪声降低图像(S123),基准图像和非基准图像之间的对应的像素间的像素值的第1差的绝对值越大,将基准图像相对于变形图像的加权系数设定得越大,对基准图像和变形图像进行合成处理并生成中间合成图像(S117),基准图像和中间合成图像之间的对应的像素间的像素值的第2差的绝对值越大,将噪声降低图像相对于中间合成图像的加权系数设定得越小,对中间合成图像和噪声降低图像进行合成处理并生成最终图像(S129)。
Description
技术领域
本发明涉及图像处理装置、拍摄装置、程序以及图像处理方法,特别是,涉及对通过连续拍摄而得到的图像进行图像处理的拍摄装置、图像处理装置、程序以及图像处理方法。
背景技术
当前,作为利用拍摄装置拍摄高精细图像的技术,采用如下技术,即,连续多次拍摄,将通过拍摄得到的多张图像对位而合成后的图像作为最终的拍摄图像,由此生成噪声较少的拍摄图像。在该技术中,在合成图像时,通过陀螺仪传感器、图像处理而计算合成对象的各个图像间的移动矢量(移动量),基于该移动矢量使多张图像或平行移动或旋转而进行对位,在此基础上进行合成。
然而,在人用手拿着拍摄装置进行拍摄等的情况下,有时由于手的抖动,即使是连续拍摄的图像,在各个图像间也存在视场角存在较大差别的情况。另外,在通过使合成对象的图像变形而合成图像时,产生彼此的图像被合成的像素区域和彼此的图像未被合成的像素区域。因此,在合成多张图像的情况下,在合成图像中,针对每个像素区域的合成次数会不同。另一方面,在合成图像时,有时也进行控制,以使得与发生了被摄体抖动的区域、发生了遮挡的区域等对应的像素不被合成,在该情况下,在合成图像时,针对每个像素区域的合成次数也会不同。
这样,在针对每个像素区域的合成次数不同的情况下,对于合成图像中的噪声降低量,在每个像素区域产生波动。即,即使在合成次数较多的像素区域中噪声充分地降低,但在合成次数较少的像素区域中仍有噪声残存的可能性。
为了消除该问题,在日本特开2009-194700号公报中,公开有一种拍摄装置,该拍摄装置针对合成图像,实施与每个像素区域的合成次数对应的噪声降低处理。该拍摄装置具备:相加次数计算单元,其在使连续拍摄的多张图像对位后进行相加而生成合成图像,并且,针对合成图像的每个像素计算出相加次数;以及噪声降低单元,其根据合成图像的每个像素的相加次数而降低噪声。根据该结构,能够生成高精细图像。
发明内容
在日本特开2009-194700号公报所公开的技术中,根据合成图像的每个像素区域的合成次数而进行噪声降低处理。然而,搭载于通常的拍摄装置中的噪声降低处理的功能是对作为对象的图像整体进行噪声降低处理的功能。即,为了针对合成图像的每个像素区域降低噪声,需要另外设置对像素区域进行指定而进行噪声降低处理的功能。
本发明就是为了解决这样的课题而提出的,提供无需设置新的功能就能够消除合成图像中的噪声降低效果的非均匀性的图像处理装置、拍摄装置、程序以及图像处理方法。
本发明的图像处理装置具备:图像取得单元,其取得多次拍摄同一被摄体而得到的多个图像;基准图像选择单元,其选择所述多个图像中的某1个图像作为基准图像;变形图像生成单元,其针对未被所述基准图像选择单元选择的非基准图像,使该非基准图像的同一被摄体图像的位置与所述基准图像对应地变形而生成变形图像;噪声降低图像生成单元,其对所述基准图像进行降低噪声的处理而生成噪声降低图像;中间合成图像生成单元,所述基准图像和所述非基准图像之间的对应的像素间的像素值的第1差的绝对值越大,其将所述基准图像相对于所述变形图像的权重系数设定得越大,所述中间合成图像生成单元基于该针对每个像素设定出的权重系数,对所述基准图像和所述变形图像进行合成处理并生成中间合成图像;以及最终图像生成单元,所述基准图像和所述中间合成图像之间的对应的像素间的像素值的第2差的绝对值越大,其将所述噪声降低图像相对于所述中间合成图像的权重系数设定得越小,所述最终图像生成单元基于该针对每个像素设定出的权重系数,对所述中间合成图像和所述噪声降低图像进行合成处理并生成最终图像。
根据该图像处理装置,利用图像取得单元,取得多次拍摄同一被摄体而得到的多个图像,利用基准图像选择单元,选择所述多个图像中的某1个图像作为基准图像,利用变形图像生成单元,生成使同一被摄体图像的位置与所述基准图像对应地变形的变形图像。
另外,利用噪声降低图像生成单元,对所述基准图像进行降低噪声的处理而生成噪声降低图像,利用中间合成图像生成单元,所述基准图像和所述非基准图像之间的对应的像素间的像素值的第1差的绝对值越大,其将所述基准图像相对于所述变形图像的权重系数设定得越大,基于该针对每个像素设定出的权重系数,对所述基准图像和所述变形图像进行合成处理并生成中间合成图像。
在这里,利用最终图像生成单元,所述基准图像和所述中间合成图像之间的对应的像素间的像素值的第2差的绝对值越大,将所述噪声降低图像相对于所述中间合成图像的权重系数设定得越小,基于该针对每个像素设定出的权重系数,对所述中间合成图像和所述噪声降低图像进行合成处理并生成最终图像。即,针对基准图像和中间合成图像之间的对应像素间的像素值的第2差的绝对值较大的像素区域、即由合成产生的噪声降低效果较高的像素区域,减小噪声降低图像的权重而将噪声降低图像与中间合成图像进行合成。
由此,无需设置新的功能就能够消除合成图像中的噪声降低效果的非均匀性。
另外,本发明的图像处理装置也可以形成为,所述中间合成图像生成单元设定为,在所述第1差的绝对值大于所述第1阈值而小于或等于比所述第1阈值大的第2阈值的情况下,该第1差的绝对值越大,使所述基准图像相对于所述变形图像的权重系数逐渐增大,对所述基准图像和所述变形图像进行合成处理。由此,能够避免对不宜合成的像素区域进行合成。
另外,本发明的图像处理装置也可以形成为,所述最终图像生成单元设定为,在所述第2差的绝对值大于第3阈值而小于或等于比所述第3阈值大的第4阈值的情况下,该第2差的绝对值越大,使所述噪声降低图像相对于所述中间合成图像的权重系数逐渐减小,对所述噪声降低图像和所述中间合成图像进行合成处理。由此,能够适当地消除合成图像中的噪声降低效果的非均匀性。
另外,本发明的图像处理装置也可以形成为,所述噪声降低图像生成单元以如下方式生成噪声降低图像,即,所述中间合成图像生成单元的合成处理的次数越多,使降低噪声的强度越大。由此,能够以适当的强度使合成图像中的噪声降低。
另外,本发明的图像处理装置也可以形成为,所述噪声降低图像生成单元以如下方式生成噪声降低图像,即,所述中间合成图像中的所述基准图像的权重越大,使降低噪声的强度越小。由此,能够以适当的强度使合成图像中的噪声降低。
另外,本发明的图像处理装置也可以形成为,还具备单纯合成图像生成单元,该单纯合成图像生成单元以全部图像为相同的权重的方式将所述多个图像分别合成而生成单纯合成图像,所述最终图像生成单元,所述单纯合成图像和所述中间合成图像之间的对应的像素间的像素值的第3差的绝对值越大,其将所述噪声降低图像相对于所述中间合成图像的权重系数设定得越大,对所述噪声降低图像和所述中间合成图像进行合成处理。由此,能够适当地消除合成图像中的噪声降低效果的非均匀性。
另外,本发明的图像处理装置也可以形成为,所述最终图像生成单元设定为,在所述第3差的绝对值大于第5阈值而小于或等于比所述第5阈值大的第6阈值的情况下,该差的绝对值越大,使所述噪声降低图像相对于所述中间合成图像的权重系数逐渐增大,对所述噪声降低图像和所述中间合成图像进行合成处理。由此,能够适当地消除合成图像中的噪声降低效果的非均匀性。
另外,本发明的图像处理装置也可以形成为,所述最终图像生成单元,所述中间合成图像的所述基准图像的权重越大,将所述噪声降低图像相对于所述中间合成图像的权重系数设定得越大,对所述噪声降低图像和所述中间合成图像进行合成处理。由此,能够适当地消除合成图像中的噪声降低效果的非均匀性。
另外,本发明的图像处理装置也可以形成为,所述最终图像生成单元设定为,在所述中间合成图像中的所述基准图像的权重大于第7阈值而小于或等于比所述第7阈值大的第8阈值的情况下,所述中间合成图像中的所述基准图像的权重越大,使所述噪声降低图像相对于所述中间合成图像的权重系数逐渐增大,对所述噪声降低图像和所述中间合成图像进行合成处理。由此,能够适当地消除合成图像中的噪声降低效果的非均匀性。
本发明的拍摄装置具备:拍摄被摄体的拍摄单元;以及本发明的图像处理装置,所述取得单元取得利用所述拍摄单元多次拍摄同一被摄体而得到的图像。
根据该拍摄装置,由于以与本发明的图像处理装置相同的方式起作用,因此,与本发明的图像处理装置相同地,无需设置新的功能就能够消除合成图像中的噪声降低效果的非均匀性。
本发明的程序使计算机作为如下单元而起作用,所述单元由下述单元构成:图像取得单元,其取得多次拍摄同一被摄体而得到的多个图像;基准图像选择单元,其选择所述多个图像中的某1个图像作为基准图像;变形图像生成单元,其针对未被所述基准图像选择单元选择的非基准图像,使该非基准图像的同一被摄体图像的位置与所述基准图像对应地变形而生成变形图像;噪声降低图像生成单元,其对所述基准图像进行降低噪声的处理而生成噪声降低图像;中间合成图像生成单元,所述基准图像和所述非基准图像之间的对应的像素间的像素值的第1差的绝对值越大,其将所述基准图像相对于所述变形图像的权重系数设定得越大,所述中间合成图像生成单元基于该针对每个像素设定出的权重系数,对所述基准图像和所述变形图像进行合成处理并生成中间合成图像;以及最终图像生成单元,所述基准图像和所述中间合成图像之间的对应的像素间的像素值的第2差的绝对值越大,其将所述噪声降低图像相对于所述中间合成图像的权重系数设定得越小,所述最终图像生成单元基于该针对每个像素设定出的权重系数,对所述中间合成图像和所述噪声降低图像进行合成处理并生成最终图像。
根据该程序,由于能够使计算机与本发明的图像处理装置相同地起作用,因此,与本发明的图像处理装置相同地,无需设置新的功能就能够消除合成图像中的噪声降低效果的非均匀性。
本发明的图像处理方法具备:图像取得步骤,在该步骤中,取得多次拍摄同一被摄体而得到的多个图像;基准图像选择步骤,在该步骤中,选择所述多个图像中的某1个图像作为基准图像;变形图像生成步骤,在该步骤中,针对未被所述基准图像选择步骤选择的非基准图像,使该非基准图像的同一被摄体图像的位置与所述基准图像对应地变形而生成变形图像;噪声降低图像生成步骤,在该步骤中,对所述基准图像进行降低噪声的处理而生成噪声降低图像;中间合成图像生成步骤,在该步骤中,所述基准图像和所述非基准图像之间的对应的像素间的像素值的第1差的绝对值越大,将所述基准图像相对于所述变形图像的权重系数设定得越大,基于该针对每个像素设定出的权重系数,对所述基准图像和所述变形图像进行合成处理并生成中间合成图像;以及最终图像生成步骤,在该步骤中,所述基准图像和所述中间合成图像之间的对应的像素间的像素值的第2差的绝对值越大,将所述噪声降低图像相对于所述中间合成图像的权重系数设定得越小,基于该针对每个像素设定出的权重系数,对所述中间合成图像和所述噪声降低图像进行合成处理并生成最终图像。
根据该图像处理方法,由于与本发明的图像处理装置相同地起作用,因此,与本发明的图像处理装置相同地,无需设置新的功能就能够消除合成图像中的噪声降低效果的非均匀性。
发明的效果
根据本发明,获得下述效果,即,无需设置新的功能就能够消除合成图像中的噪声降低效果的非均匀性。
附图说明
图1A是表示实施方式所涉及的数字照相机的正面斜视图。
图1B是表示实施方式所涉及的数字照相机的背面斜视图。
图2是表示实施方式所涉及的数字照相机的电气系统的要部结构的概略框图。
图3是表示由第1实施方式所涉及的数字照相机执行的拍摄控制处理程序的流程的流程图。
图4是用于说明从第1实施方式所涉及的数字照相机开始拍摄控制处理到生成中间合成图像为止的处理流程的概略图。
图5是用于说明从第1实施方式所涉及的数字照相机开始拍摄控制处理到生成中间合成图像为止的处理流程的概略图。
图6是表示第1实施方式所涉及的数字照相机的像素值的差值的绝对值d和第1加权系数w之间的关系的一个例子的图形。
图7是用于说明从第1实施方式所涉及的数字照相机生成中间合成图像到生成最终合成图像为止的处理流程的概略图。
图8是表示第1实施方式所涉及的数字照相机的像素值的差值的绝对值d’和第2加权系数w’之间的关系的一个例子的图形。
图9是表示由第2实施方式所涉及的数字照相机执行的拍摄控制处理程序的流程的流程图。
图10是表示由第2实施方式所涉及的数字照相机执行的拍摄控制处理程序的流程的流程图。
图11是表示由第3实施方式所涉及的数字照相机执行的拍摄控制处理程序的流程的流程图。
图12是用于说明从利用第4实施方式所涉及的数字照相机生成中间合成图像至生成最终合成图像为止的处理流程的概略图。
图13是表示第4实施方式所涉及的数字照相机的像素值的差值的绝对值d’和第2加权系数w’之间的关系的一个例子的图形。
图14是表示由第5实施方式所涉及的数字照相机执行的拍摄控制处理程序的流程的流程图。
图15是表示第5实施方式所涉及的数字照相机的第1加权系数w和第2加权系数w’之间的关系的一个例子的图形。
图16是表示作为实施方式所涉及的拍摄装置的一个实施方式的智能手机的外观的图。
图17是表示图16所示的智能手机的结构的框图。
具体实施方式
(第1实施方式)
以下,参照附图,详细地说明第1实施方式所涉及的拍摄装置。此外,在第1实施方式中,以将本发明应用于单镜头数字照相机的情况为例进行说明。
图1A是表示第1实施方式所涉及的数字照相机1的结构的正面斜视图,图1B是表示第1实施方式所涉及的数字照相机1的结构的背面斜视图。如图1A及图1B所示,数字照相机1具备框体10,在框体10的内部收容有后述的CPU(CentralProcessingUnit)、RAM(RandomAccessMemory)以及ROM(ReadOnlyMemory)等各种电子部件。在框体10的上表面具备释放按钮11,通过由使用者按下释放按钮11而向数字照相机1输入拍摄等的指示。
另外,在框体10的上表面具备电源按钮12,通过由使用者按下电源按钮12而输入对数字照相机1的电源的接通/断开状态进行切换的指示。并且,在框体10的上表面设置有变焦杆13,通过由使用者操作该变焦杆13而在拍摄时输入变焦功能的视场角、倍率变更指示。
另一方面,如图1A所示,在框体10的正面设置有闪光灯14,通过使闪光灯14发光而照亮周围。另外,在框体10的正面设置有镜头15,入射至该镜头15的光通过该镜头15而向内部输入。
另外,如图1B所示,在框体10的背面设置有液晶显示屏16,显示拍摄图像、设定事项等。另外,在框体10的背面设置有各种操作按钮17,通过由使用者操作各种操作按钮17而输入各种设定事项的设定指示。
图2是表示第1实施方式所涉及的数字照相机1的电气系统的要部结构的概略框图。如图2所示,数字照相机1具备主控制部20、拍摄部21、拍摄控制部22、图像处理部23、压缩/展开处理部24、帧存储器25、介质控制部26、内部存储器27、显示控制部28、加权系数导出部30、噪声降低处理部31以及合成处理部32。
主控制部20具备所述的CPU、RAM以及ROM,根据经由释放按钮11、电源按钮12以及各种操作按钮17等输入部的使用者操作,综合地控制数字照相机1。另外,主控制部20执行后述的拍摄控制处理程序。
拍摄部21具有由CCD、CMOS构成的拍摄元件,接收入射至镜头15的光,将接收的光变换为电信号而生成图像数据。另外,拍摄部21将生成的图像数据向图像处理部23发送。
拍摄控制部22具备AF(AutomaticFocusing)处理部(图示省略)以及AE(AutomaticExposure)处理部(图示省略)。AF处理部基于预览图像(在拍摄的前序阶段由入射至镜头15的光形成的图像)确定合焦区域,该预览图像是通过由使用者对释放按钮11的半按操作等而由拍摄部21取得的,并且,确定镜头的焦点位置,向拍摄部21输出表示合焦区域、焦点位置的数据。AE处理部基于预览图像而确定光圈值和快门速度,向拍摄部21输出表示快门速度、光圈值的数据。
另外,拍摄控制部22通过使用者对释放按钮11的全按操作而对拍摄部21发出指示,使得该拍摄部21进行拍摄正式图像的正式拍摄。此外,在对释放按钮11进行全按操作之前,拍摄控制部22向拍摄部21发出按照规定时间间隔(例如间隔1/30秒)依次取得实时取景图像的指示,该实时取景图像是与用于确认拍摄范围的正式图像相比像素数少的动态图像。
图像处理部23对由拍摄部21取得的图像数据所表示的图像,实施调整白平衡的处理、灰度校正、锐度校正以及色彩校正等多种多样的图像处理。
压缩/展开处理部24针对表示由图像处理部23实施了处理的图像的图像数据,例如以JPEG等压缩形式进行压缩处理,生成压缩图像数据。压缩图像数据例如基于例如Exif格式,存储基线长、收敛角以及拍摄时间等附加信息以及表示视点位置的视点信息等。
帧存储器25是作业用存储器,该作业用存储器在对拍摄部21所生成的图像数据进行包含由图像处理部23所进行的处理在内的各种图像处理时使用。
介质控制部26在向数字照相机1电气连接记录介质26A等各种记录介质时,对该记录介质26A的存储区域进行图像文件等的数据的读写的控制。
内部存储器27存储如下内容,即,在数字照相机1中设定的各种设定事项;在主控制部20执行的程序、程序的处理中使用的数据;以及表示拍摄图像的多个图像数据。此外,内部存储器27存储有后述的拍摄控制处理程序。
显示控制部28基于主控制部20或者拍摄控制部22的控制,使在拍摄时存储于帧存储器25的各个图像数据所表示的图像显示于液晶显示屏16上,或者使存储于记录介质26A的图像数据所表示的图像显示于液晶显示屏16上。
在这里,对第1实施方式所涉及的数字照相机1的拍摄控制处理进行说明。此外,第1实施方式所涉及的数字照相机1为了拍摄高精细图像,将连续多次拍摄得到的多张图像分别合成而生成中间合成图像,将该中间合成图像与实施噪声降低处理后的基准图像进行合成而生成最终合成图像,将该最终合成图像作为最终的拍摄图像。
图3是表示由第1实施方式所涉及的数字照相机1执行的拍摄控制处理程序的流程的流程图。另外,图4以及图5是用于说明从第1实施方式所涉及的数字照相机1开始拍摄控制处理到生成中间合成图像C为止的处理流程的概略图。并且,图7是用于说明从第1实施方式所涉及的数字照相机1开始中间合成图像C到生成最终合成图像E为止的处理流程的概略图。
该拍摄控制处理程序在对释放按钮11进行半按操作的定时被数字照相机1的主控制部20执行。另外,该拍摄控制处理程序被预先存储于内部存储器27中。
在步骤S101中,主控制部20判定释放按钮11是否被全按下。在步骤S101中判定为没有被全按下的情况下,主控制部20保持原有状态,直至释放按钮11被全按下为止处于待机。
在步骤S101中判定为被全按下的情况下,在步骤S103中,主控制部20以在数字照相机1中连续地进行多次拍摄的方式进行控制,取得拍摄后的多张图像的各个图像信息。此外,在步骤S103中,在本实施方式中,控制为连续地进行多次拍摄,但也无需一定要连续地拍摄,只要能够获得多次拍摄同一被摄体所得到的图像的各个图像信息即可。
在下一个步骤S105中,主控制部20将在步骤S103中连续拍摄的图像中的1个图像选择作为基准图像A。此时,例如,认为在释放按钮11刚被全按下后所拍摄的图像是使用者希望的图像,选择最初拍摄的1张作为基准图像A。此外,考虑到后述的各图像的对位,也可以将认为相对于连续地拍摄的其他图像的偏移量的平均值最小的、在时间序列中位于中央位置的图像作为基准图像A。以下,也将在步骤S105中选择出的基准图像A称为“初始的基准图像A”。
在下一个步骤S107中,主控制部20从在步骤S103中连续地拍摄的图像中选择非基准图像B,该非基准图像B是最初与在步骤S105中选择出的基准图像A进行合成的图像。此时,例如也可以将在步骤S103中在基准图像A的下一个拍摄出的图像选择作为非基准图像B。如图4所示,通过步骤S105以及S107,选择作为合成对象的基准图像A以及非基准图像B。
在下一个步骤S109中,主控制部20检测出基准图像A以及非基准图像B中的移动矢量。此时,主控制部20例如检测出基准图像A以及非基准图像B中的多个特征点,针对各个特征点使各个图像中彼此对应而进行块匹配。块匹配是按照以下的(1)及(2)的顺序以像素为单位求出图像间的位移的方法。
(1)为了评价图像间的相似性,从各个进行比较的图像切出区域,对该区域求出亮度差的总和(SAD;SumofAbsoluteDifference)、亮度差的平方和(SSD:SumofSquaredDifferece)、或者归一化互相关(ZNCC;Zero-meanNormalizedCross-Correlation)等。
(2)检索在使用SAD或者SSD时赋予最小值、在使用ZNCC时赋予最大值的切出位置,由此以像素为单位求出图像间的位移。
而且,主控制部20根据各个特征点的在图像间的位移,检测出基准图像A以及非基准图像B的移动矢量。
在下一个步骤S111中,主控制部20基于在步骤S109中检测出的移动矢量,使非基准图像B相对于基准图像A变形。此时,通过进行平行移动、旋转移动以及伸缩中的至少1个而使非基准图像B变形,使得非基准图像B中的特征点与基准图像A中的特征点大体一致。上述“使得大体一致”在进行变形以使得各个对应的特征点完全一致的情况的基础上,包含进行变形以使得各个对应的特征点的偏移的矢量作为整体而言大致为0。通过步骤S111的处理,如图5所示,非基准图像B变形,使得基准图像A中的被摄体H的位置和非基准图像B中的被摄体H的位置大体一致。
在下一个步骤S113中,主控制部20导出基准图像A以及非基准图像B的对应的各像素的像素值的差值的绝对值d。如果将基准图像A、非基准图像B的像素值分别设为img[1]、img[2],则像素值的差值的绝对值d通过以下的(1)式计算。
(算式1)
d=|img[2]-img[1]|…(1)
在下一个步骤S115中,主控制部20基于各像素的像素值的差值的绝对值d,针对每个像素导出在合成基准图像A以及非基准图像B时用于对基准图像A赋予权重的第1加权系数w。
图6是表示第1实施方式所涉及的数字照相机1中的像素值的差值的绝对值d和第1加权系数w之间的关系的一个例子的图形。在图6中,横轴设定为像素值的差值的绝对值d、纵轴设定为第1加权系数w。另外,第1规定值d1以及第2规定值d2(d1<d2)是根据经验预先获得的值。
如图6所示,第1加权系数w为从0至1的值,在像素值的差值的绝对值d为从0至第1规定值d1为止的值的情况下,第1加权系数w为0.5,在像素值的差值的绝对值d为大于或等于第2规定值d2的值的情况下,第1加权系数w为1,并且,在像素值的差值的绝对值d为从第1规定值d1至第2规定值d2为止的值的情况下,像素值的差值的绝对值d越大,第1加权系数w成正比地变大、且为从0.5至1之间的值。
在像素值的差值的绝对值d较小的情况下,由于非基准图像B中的被摄体相对于基准图像A的移动(抖动量)较小,因此将对基准图像A以及非基准图像B进行合成时的基准图像A的第1加权系数w设为0.5,将非基准图像B的加权系数(1-w)设为0.5,而使基准图像A以及非基准图像B的各个的权重对等。另一方面,在像素值的差值的绝对值d较大的情况下,由于非基准图像B中的被摄体相对于基准图像A的移动(抖动量)较大,因此,将对基准图像A以及非基准图像B进行合成时的基准图像A的第1加权系数w设为1,将非基准图像B的加权系数(1-w)设为0,而使基准图像A的权重变大。另外,为了使基准图像A以及非基准图像B的权重对等的区域和基准图像A的权重较大的区域的边界模糊,使像素值的差值的绝对值d为从第1规定值d1至第2规定值d2为止的第1加权系数w的值平滑地变化。
此外,如图6所示的像素值的差值的绝对值d和第1加权系数w之间的关系是一个例子,像素值的差值的绝对值d和第1加权系数w的关系为如下图形即可,即,在像素值的差值的绝对值d较小的情况下,使基准图像A以及非基准图像B的各个权重对等,在像素值的差值的绝对值d较大的情况下,使基准图像A的权重增大。
在下一个步骤S117中,利用加权系数w对基准图像A和在步骤S111中变形后的非基准图像B进行合成,生成中间合成图像C。基准图像A以及非基准图像B的合成图像,是通过针对基准图像A以及非基准图像B中相互对应的各像素而计算出像素值的加权平均而得到的。
即,如果将基准图像A、非基准图像B、中间合成图像C的像素值分别设为img[1]、img[2]、mix,则中间合成图像C的各像素的像素值通过以下的(2)式而计算。
(算式2)
mix=w×img[1]+(1-w)×img[2]…(2)
通过上述(2)式计算合成图像的各像素的像素值,如图4以及图5所示,作为基准图像A以及非基准图像B的合成图像而生成中间合成图像C。
如上所述拍摄多个图像并进行合成的目的是降低随机噪声。因此,如果各个图像间的拍摄条件、对拍摄出的图像的信号处理的条件大致等同,则噪声降低效果变为最大是在以1:1的比例对基准图像A和非基准图像B进行加权平均的情况、即第1加权系数w为0.5的情况下。然而,例如如果以1:1的比例对基准图像A中的全像素进行加权平均,则在基准图像A内存在有运动物体等情况下,在合成图像的运动物体区域中运动物体会出现多重图像化。因此,主控制部20通过事先针对每个像素计算像素值的差值的绝对值d,并将像素值的差值的绝对值d较大的区域(在图6所示的例子中的d≥d2的区域)作为不宜进行合成的区域(以下,也称为“不宜合成区域”),而将表示基准图像A的权重的第1加权系数w设为1,从而避免将不宜合成区域用于合成。
在下一个步骤S119中,主控制部20判定在步骤S103中连续拍摄的图像的全部图像是否已经通过步骤S117的处理进行了合成。在步骤S119中判定为尚未合成全部图像的情况下,在步骤S121中,主控制部20选择在步骤S117中生成的中间合成图像作为新的基准图像A,并跳转至步骤S107。随后,主控制部20在步骤S107中,选择尚未合成的图像作为非基准图像B,通过反复进行从步骤S109至S121的处理,从而生成将在步骤S103中连续拍摄的多个图像的全部图像进行合成后的中间合成图像C。
在步骤S119中判定为全部图像已经被合成的情况下,在步骤S123中,主控制部20对初始的基准图像A的整体进行空间性的噪声降低处理,生成噪声降低图像D。对于该空间性的噪声降低处理,能够应用LPF(低通滤波器)、双边滤波器或者与边缘的强度·方向对应的适应的滤波器等各种已知的方法。用于进行这样的空间噪声降低处理的功能是通常的数字照相机基本上必备的功能,多数数字照相机已经搭载有该功能。此外,步骤S123的处理只要处在后述的步骤S125的处理之前的阶段即可,在哪个阶段执行均可。
在下一个步骤S125中,主控制部20计算出基准图像A以及中间合成图像C的相对应的各像素的像素值的差值的绝对值d’。如果将基准图像A、中间合成图像C的像素值分别设为img[1]、img[3],则像素值的差值的绝对值d’通过以下的(3)式计算。
(算式3)
d’=|img[3]-img[1]|…(3)
在下一个步骤S127中,主控制部20基于各像素的像素值的差值的绝对值d’,针对每个像素导出第2加权系数w’,该第2加权系数w’在合成噪声降低图像D以及中间合成图像C时用于对噪声降低图像D赋予权重。
图8是表示第1实施方式所涉及的数字照相机1中的像素值的差值的绝对值d’和第2加权系数w’之间的关系的一个例子的图形。在图8中,横轴设定为像素值的差值的绝对值d’、纵轴设定为第2加权系数w’。如图8所示,第2加权系数w’为从0至1的值,在像素值的差值的绝对值d’为从0至第3规定值d3为止的值的情况下,第2加权系数w’为1,在像素值的差值的绝对值d’为大于或等于第4规定值d4(d3<d4)的值的情况下,第2加权系数w’为0,并且,在像素值的差值的绝对值d’为从第3规定值d3至第4规定值d4为止的值的情况下,像素值的差值的绝对值d’越大,第2加权系数w’成正比地减小、且为从0至1之间的值。
在像素值的差值的绝对值d’较小的情况下,由于是进行中间合成图像C中的合成时的噪声降低效果较低的区域,因此将噪声降低图像D以及中间合成图像C的合成时的噪声降低图像D的第2加权系数w’设为1,将中间合成图像C的加权系数(1-w’)设为0,而增大噪声降低图像D的权重。另一方面,在像素值的差值的绝对值d’较大的情况下,由于是进行中间合成图像C中的合成时的噪声降低效果较高的区域,因此将噪声降低图像D以及中间合成图像C的合成时的噪声降低图像D的第2加权系数w’设为0,将中间合成图像C的加权系数(1-w’)设为1,而减小噪声降低图像D的权重。另外,为了使噪声降低图像D的权重较大的区域和中间合成图像C的权重较大的区域的边界模糊,使像素值的差值的绝对值d’为从第3规定值d3至第4规定值d4为止的第2加权系数w’的值平滑地变化。
此外,图8所示的像素值的差值的绝对值d’和第2加权系数w’之间的关系是一个例子,像素值的差值的绝对值d’和第2加权系数w’的关系可以是如下图形,即,在像素值的差值的绝对值d’较小的情况下,增大噪声降低图像D的权重,在像素值的差值的绝对值d’较大的情况下,减小噪声降低图像D的权重。
在下一个步骤S129中,基于通过步骤S127而导出的第2加权系数w’,合成噪声降低图像D和中间合成图像C,生成最终合成图像E,结束拍摄控制处理。噪声降低图像D以及中间合成图像C的合成图像,是通过针对噪声降低图像D以及中间合成图像C中相互对应的各像素,计算出像素值的加权平均而得到的。
即,如果将噪声降低图像D、中间合成图像C、最终合成图像E的像素值设为img’[1]、mix、mix_f,则最终合成图像的各像素的像素值通过以下的(4)式而计算。
(算式4)
mix_f=w’×img’[1]+(1-w’)×mix…(4)
通过上述(4)式计算合成图像的各像素的像素值,如图7所示,作为噪声降低图像D以及中间合成图像C的合成图像,生成最终合成图像E。
此外,如上述所示,通过对非基准图像B进行平行移动、旋转等变形,从而在合成基准图像A以及非基准图像B时,如图5所示,在中间合成图像C中,产生基准图像A以及非基准图像B被合成的像素区域(以下,也称为“合成区域”)、以及基准图像A以及非基准图像B未合成的像素区域(以下,也称为“非合成区域”)。在合成区域中通过合成而降低噪声,另一方面,在非合成区域中由于噪声未被降低,因此非合成区域的噪声量与基准图像A等同,在非合成区域中完全没有获得噪声降低效果。然而,通过将对基准图像A进行空间噪声降低处理后的图像,与其它像素区域相比以更高的合成比例而与中间合成图像C的非合成区域进行合成,从而能够减小合成处理中的合成区域和非合成区域的噪声量的差。
这样,在第1实施方式所涉及的数字照相机1中,通过对不宜合成区域以及非合成区域实施空间性的噪声降低,能够消除将多张图像对位而合成得到的合成图像的、由合成产生的噪声降低效果的非均匀性。另外,在第1实施方式所涉及的数字照相机1中,由于能够针对基准图像A,而利用通常用于对图像整体进行空间噪声降低处理的功能,因此无需追加新的功能就能够消除噪声降低效果的非均匀性。
此外,在为了生成中间合成图像C而进行合成的图像大于或等于3张的情况下,无法将中间合成图像C中的各区域明确分类为合成区域和非合成区域这2个区域。在该情况下,可以变更像素单位、或者以规定的区域单位进行合成的程度(噪声降低的程度)。
(第2实施方式)
说明第2实施方式所涉及的数字照相机1。
第2实施方式所涉及的数字照相机1与第1实施方式所涉及的数字照相机1相同地,具有图1以及图2所示的结构。此外,对与第1实施方式相同的结构标注相同的标号,省略重复的说明。
第2实施方式所涉及的数字照相机1根据中间合成图像C的合成次数,对在第1实施方式的步骤S123中所执行的噪声降低处理的噪声降低强度进行设定。
图9是表示由第2实施方式所涉及的数字照相机1执行的拍摄控制处理程序的流程的流程图。该拍摄控制处理程序在对释放按钮11进行半按操作的定时被数字照相机1的主控制部20执行,预先存储于内部存储器27中。
首先,在进行上述的从步骤S101至S105的处理之后,在步骤S201中,主控制部20将合成次数设定为0,该合成次数表示进行了几次步骤S117中的合成处理。然后,主控制部20进行从步骤S107至S117的处理。
在下一个步骤S203中,向在步骤S201中设定为0的合成次数加1,转入步骤S119。通过该步骤S203的处理,每进行从步骤S107至S117的处理,对合成次数进行计数。
在步骤S119中判定为全部图像已经合成的情况下,在步骤S205中,主控制部20根据在步骤S203中计数得到的合成次数,对针对基准图像A的噪声降低强度进行设定,以使得合成次数越多、降低噪声的强度越大。
如上述所示,由于是以消除由合成产生的噪声降低效果的非均匀性为目的而进行的,因此优选使对基准图像A的噪声降低的效果(强度)也依赖于合成张数。关于噪声降低强度的设定,例如可以在进行噪声降低处理时利用高斯滤波器的情况下,在调整高斯滤波器的平滑化程度时,以合成次数越多、参数σ的值越大的方式变更参数σ的值而调整平滑化程度。此外,高斯滤波器是越接近关注像素,在计算平均值时越增大权重,越远离关注像素,越减小权重,以上述方式采用高斯分布的函数计算比例的滤波器,参数σ的值越大,平滑化的效果越大。
另外,在进行噪声降低处理时利用平均值滤波器的情况下,也可以采用以合成次数越多,内核尺寸越大的方式变更内核尺寸的方法。此外,平均值滤波器是将关注像素和其附近的像素的浓度值的平均值作为关注像素的新的浓度值的滤波器。
在下一个步骤S207中,主控制部20以在步骤S205中所设定的噪声降低强度,对初始的基准图像A的整体进行空间性的噪声降低处理,生成噪声降低图像D。并且,主控制部20进行从步骤S125至S129的处理而结束拍摄控制程序。
这样,第2实施方式所涉及的数字照相机1在生成噪声降低图像D时,通过根据合成次数而对针对基准图像A的空间噪声降低的强度进行调整,从而能够适当地消除由合成产生的噪声降低效果的非均匀性。
(第3实施方式)
说明第3实施方式所涉及的数字照相机1。
第3实施方式所涉及的数字照相机1与第1实施方式所涉及的数字照相机1相同地,具有图1以及图2示出的结构。此外,对与第1实施方式以及第2实施方式相同的结构标注相同的标号,省略重复的说明。
第3实施方式所涉及的数字照相机1根据中间合成图像C中的基准图像A的权重(合成比例),对在第1实施方式的步骤S123中所执行的噪声降低处理的噪声降低强度进行设定。
图10是表示由第3实施方式所涉及的数字照相机1所执行的拍摄控制处理程序的流程的流程图。该拍摄控制处理程序在对释放按钮11进行半按操作的定时被数字照相机1的主控制部20执行,并预先存储于内部存储器27中。
首先,进行上述的从步骤S101至S121的处理。然后,在步骤S119中判定为已合成全部的图像的情况下,在步骤S301中,主控制部20计算出中间合成图像C中的基准图像A的权重。
由合成产生的噪声降低效果依赖于以何种合成比例对合成对象的各个图像进行合成。例如,在合成对象的图像为N张的情况下,如果将第n张中间合成图像C设为mix[n],将第n张非基准图像B设为img[n],将第n张的第1加权系数w设为w[n],则能够利用下述的(5)式表示第1加权系数w,该第1加权系数w表示基准图像A在所生成的中间合成图像C中所占的权重。
(算式5)
w=w[1]×w[2]×w[3]×···×w[N-1]…(5)
其中,
mix[1]=w[1]×img[1]+(1-w[1])×img[2]
mix[2]=w[2]×mix[1]+(1-w[2])×img[3]
mix[3]=w[3]×mix[2]+(1-w[3])×img[4]
·
·
·
在下一个步骤S303中,基于在步骤S301中计算出的基准图像A的权重,以基准图像A的权重越大、使噪声降低的强度越小的方式,设定针对基准图像A的噪声降低强度。
在第3实施方式中,基于通过上述(5)式针对每个像素而计算出的基准图像A的第1加权系数w的值中的最小值,调整噪声降低处理的强度。关于噪声降低强度的调整,例如可以利用高斯滤波器,在调整高斯滤波器的平滑化程度时,以中间合成图像C中的基准图像A的权重越大、参数σ的值越小的方式,变更参数σ的值而调整平滑化程度。或者,在平均值滤波器中,也可以采用以中间合成图像C中的基准图像A的权重越大、内核尺寸越小的方式变更内核尺寸的方法。
在下一个步骤S305中,主控制部20以在步骤S303中所设定的噪声降低强度,对初始的基准图像A的整体进行空间性的噪声降低处理,生成噪声降低图像D。然后,主控制部20进行从步骤S125至S129的处理而结束拍摄控制程序。
这样,第3实施方式所涉及的数字照相机1在生成噪声降低图像D时,通过根据中间合成图像C中的基准图像A的权重,对针对基准图像A的空间噪声降低的强度进行调整,从而能够适当地消除由合成产生的噪声降低效果的非均匀性。
(第4实施方式)
说明第4实施方式所涉及的数字照相机1。
第4实施方式所涉及的数字照相机1与第1实施方式所涉及的数字照相机1同样地,具有图1以及图2所示的结构。此外,对于与第1实施方式至第3实施方式相同的结构,标注相同的标号,省略重复的说明。
第4实施方式所涉及的数字照相机1在导出在第1实施方式的步骤S127中合成中间合成图像C以及噪声降低图像D时的第2加权系数w’时,与中间合成图像C以及单纯合成图像(将在步骤S103中连续拍摄而得到的多个图像分别以相同的比例进行合成后的图像)F对应地进行设定。
图11是表示由第4实施方式所涉及的数字照相机1执行的拍摄控制处理程序的流程的流程图。另外,图12是用于说明从由第4实施方式所涉及的数字照相机1生成中间合成图像C至生成最终合成图像E为止的处理流程的概略图。
该拍摄控制处理程序在对释放按钮11进行半按操作的定时被数字照相机1的主控制部20执行,并预先存储于内部存储器27中。
首先,进行上述的从步骤S101至S121的处理。然后,在步骤S119中判定为全部图像已合成的情况下,在步骤S401中,主控制部20生成单纯合成图像F,该单纯合成图像F是以全部图像为相同的合成比例的方式将在步骤S103中连续拍摄得到的多个图像分别合成而得到的。
在下一个步骤S123中,主控制部20对初始的基准图像A的整体进行空间性的噪声降低处理,生成噪声降低图像D。另外,在下一个步骤S403中,主控制部20计算出中间合成图像C以及单纯合成图像F的对应的各像素的像素值的差值的绝对值d’。
在下一个步骤S405中,主控制部20基于各像素的像素值的差值的绝对值d’,针对每个像素导出第2加权系数w’,该第2加权系数w’用于在合成噪声降低图像D以及中间合成图像C时对噪声降低图像D赋予权重。
图13是表示第4实施方式所涉及的数字照相机1中的像素值的差值的绝对值d’和第2加权系数w’之间的关系的一个例子的图形。在图13中,横轴设定为像素值的差值的绝对值d’、纵轴设定为第2加权系数w’。如图13所示,第2加权系数w’为从0至1的值,在像素值的差值的绝对值d’为从0至第5规定值d5为止的值的情况下,第2加权系数w’为0,在像素值的差值的绝对值d’为大于或等于第6规定值d6(d5<d6)的值的情况下,第2加权系数w’为1,并且,在像素值的差值的绝对值d’为从第5规定值d5至第6规定值d6为止的值的情况下,像素值的差值的绝对值d’越大,第2加权系数w’成正比地变大、且为从0至1之间的值。
在该情况下,与第1实施方式不同,在像素值的差值的绝对值d’较小的情况下,由于是中间合成图像C中的由合成产生的噪声降低效果较高的区域,因此将在噪声降低图像D以及中间合成图像C进行合成时的噪声降低图像D的第2加权系数w’设为0,将中间合成图像C的加权系数(1-w’)设为1,而使噪声降低图像D以及中间合成图像C的权重等同。另一方面,在像素值的差值的绝对值d’较大的情况下,由于是中间合成图像C中的有合成产生的噪声降低效果较低的区域,因此将在噪声降低图像D以及中间合成图像C进行合成时的噪声降低图像D的第2加权系数w’设为1,将中间合成图像C的加权系数(1-w’)设为0,使噪声降低图像D的权重变大。另外,为了使噪声降低图像D的权重较大的区域和中间合成图像C的权重较大的区域的边界模糊,使像素值的差值的绝对值d’处于从第3规定值d3至第4规定值d4为止的范围内的第2加权系数w’的值平滑地变化。
此外,图13所示的像素值的差值的绝对值d’和第2加权系数w’的关系为一个例子,像素值的差值的绝对值d’和第2加权系数w’的关系可以是如下图形,即,在像素值的差值的绝对值d’较小的情况下,使噪声降低图像D以及中间合成图像C的权重等同,在像素值的差值的绝对值d’较大的情况下,使噪声降低图像D的权重增大。
在下一个步骤S129中,基于利用步骤S127导出的第2加权系数w’,合成噪声降低图像D和中间合成图像C,生成最终合成图像E,结束拍摄控制处理。噪声降低图像D以及中间合成图像C的合成图像是通过对噪声降低图像D以及中间合成图像C中相互对应的各像素计算出像素值的加权平均而得到的。
这样,在第4实施方式所涉及的数字照相机1中,能够获得与第1实施方式相同的作用以及效果。
(第5实施方式)
说明第5实施方式所涉及的数字照相机1。
第5实施方式所涉及的数字照相机1与第1实施方式所涉及的数字照相机1相同地,具有图1以及图2所示的结构。此外,对与从第1实施方式至第4实施方式相同的结构标注相同的标号,省略重复的说明。
第5实施方式所涉及的数字照相机1在导出在第1实施方式的步骤S127中合成中间合成图像C以及噪声降低图像D时的第2加权系数w’时,基于第1加权系数w导出第2加权系数w’。即,如上述(5)式所示,表明第1加权系数w的值越大,中间合成图像C中的基准图像A的权重越大,噪声降低效果越低。因此,第5实施方式所涉及的数字照相机1根据第1加权系数w而导出第2加权系数w’。
图14是表示由第5实施方式所涉及的数字照相机1执行的拍摄控制处理程序的流程的流程图。该拍摄控制处理程序在对释放按钮11进行半按操作的定时被数字照相机1的主控制部20执行,预先存储于内部存储器27中。
首先,进行上述的从步骤S101至S123的处理。然后,在下一个步骤S501中,主控制部20基于在步骤S115中导出的、合成基准图像A以及变形后的非基准图像B时的第1加权系数w,导出合成中间合成图像C以及噪声降低图像D时的第2加权系数w’。
图15是表示第5实施方式所涉及的数字照相机1中的第1加权系数w和第2加权系数w’之间的关系的一个例子的图形。在图15中,横轴设定为第1加权系数w,纵轴设定为第2加权系数w’。如图15所示,第2加权系数w’为从0至1的值,在第1加权系数w为从0至第7规定值d7(这里为0.5)为止的值的情况下,第2加权系数w’为0,在第1加权系数w为大于或等于第8规定值d8的值的情况下,第2加权系数w’为1,并且,在第1加权系数w为从第7规定值d7至第8规定值d8(d7<d8)为止的值的情况下,第1加权系数w越大,第2加权系数w’成正比地变大、且为从0至1之间的值。
在第1加权系数w较小的情况下,由于是中间合成图像C中的由合成产生的噪声降低效果较高的区域,因此将在噪声降低图像D以及中间合成图像C进行合成时的噪声降低图像D的第2加权系数w’设为0,使噪声降低图像D的权重变小。另一方面,在像素值的差值的绝对值d较大的情况下,由于是中间合成图像C中的由合成产生的噪声降低效果较小的区域,因此将在噪声降低图像D以及中间合成图像C进行合成时的噪声降低图像D的第2加权系数w’设为1,使噪声降低图像D的权重变大。另外,为了使噪声降低图像D的权重较大的区域和中间合成图像C的权重较大的区域的边界模糊,使像素值的差值的绝对值d’处于从第3规定值d3至第4规定值d4为止的范围内的第2加权系数w’的值平滑地变化。
此外,图15所示的第1加权系数w和第2加权系数w’的关系是一个例子,第1加权系数w和第2加权系数w’的关系可以是如下图形,即,在第1加权系数w较小的情况下使噪声降低图像D的权重减小,在像素值的差值的绝对值d较大的情况下使噪声降低图像D的权重变大。
在下一个步骤S129中,基于由步骤S127导出的第2加权系数w’,合成噪声降低图像D和中间合成图像C,生成最终合成图像E,结束拍摄控制处理。噪声降低图像D以及中间合成图像C的合成图像是通过针对噪声降低图像D以及中间合成图像C中相互对应的各像素,计算出像素值的加权平均而得到的。
即,如果将噪声降低图像D、中间合成图像C、最终合成图像E的像素值设为img’[1]、mix、mix_f,则最终合成图像的各像素的像素值通过以下的(6)式而计算。
(算式6)
mix_f=w’×img’[1+(1-w’)×mix[N-1]…(6)
通过上述(6)式计算合成图像的各像素的像素值,如图7所示,作为噪声降低图像D以及中间合成图像C的合成图像,生成最终合成图像E。
这样,在第5实施方式所涉及的数字照相机1中,由于根据计算完成的第1加权系数w计算出第2加权系数w’,因此在能够获得与第1实施方式相同的作用以及效果的基础上,还能够提高处理速度。
以上,作为本发明的拍摄装置的实施方式,对数字照相机进行了说明,但拍摄装置的结构并不限定于此。作为本发明的其它的拍摄装置,例如可以是内置型或者外置型的PC(个人计算机)用照相机、或者如以下说明所示的具有拍摄功能的移动终端装置。
对于作为本发明的拍摄装置的一个实施方式的移动终端装置,例如举出移动电话机、智能手机、PDA(PersonalDigitalAssistants)、移动式游戏机。以下,以智能手机为例,参照附图详细进行说明。
图16是表示实施方式所涉及的拍摄装置的一个实施方式即智能手机70的外观的图。图16示出的智能手机70具有平板状的框体72,具备显示输入部74,该显示输入部74由在框体72的一个面上作为显示部的显示面板74A、以及作为输入部的操作面板74B一体形成。另外,所述框体72具备扬声器76、麦克风78、操作部80以及照相机部82。此外,框体72的结构并不限定于此,例如可以采用显示部和输入部独立的结构,或采用具有折叠构造、滑动机构的结构。
图17是表示图16示出的智能手机70的结构的框图。如图17所示,作为智能手机的主要结构要素,具备无线通信部84、显示输入部74、通话部86、操作部80、照相机部82、存储部88、外部输入/输出部90、GPS(GlobalPositioningSystem)接收部92、运动传感器部94、电源部96以及主控制部98。另外,作为智能手机70的主要功能,具备经由基站装置和移动通信网进行移动无线通信的无线通信功能。
无线通信部84根据主控制部98的指示,对收容于移动通信网的基站装置进行无线通信。使用该无线通信,进行音频数据、图像数据等各种文件数据、电子邮件数据等的接收/发送、Web数据、流数据等的接收。
显示输入部74是触摸面板,具备显示面板74A和操作面板74B,该触摸面板通过主控制部98的控制,显示图像(静止图像以及动态图像)、文字信息等而向使用者以视觉方式传递信息,并且对针对所显示信息的使用者的操作进行检测。
显示面板74A作为显示设备而使用LCD(LiquidCrystalDisplay)、OELD(OrganicElectro-LuminescenceDisplay)等。操作面板74B是如下设备,即,以可识别显示于显示面板74A的显示面上的图像的方式进行载置,对由使用者的手指、笔尖进行的操作的一个或多个坐标进行检测。如果利用使用者的手指、笔尖对该设备进行操作,则将因操作而产生的检测信号输出至主控制部98。然后,主控制部98基于接收到的检测信号,对显示面板74A上的操作位置(坐标)进行检测。
如图16所示,将作为本发明的拍摄装置的一个实施方式而例示的智能手机70的显示面板74A和操作面板74B一体化而构成显示输入部74,但操作面板74B配置成为完全覆盖显示面板74A。在采用该配置的情况下,操作面板74B也可以具备还针对显示面板74A以外的区域,检测使用者操作的功能。换言之,操作面板74B可以具备:针对与显示面板74A重叠的重叠部分的检测区域(以下,称为显示区域);以及针对除显示区域以外的与显示面板74A不重叠的外缘部分的检测区域(以下,称为非显示区域)。
此外,可以使显示区域的大小与显示面板74A的大小完全一致,但无需使两者必须一致。另外,操作面板74B还可以具备外缘部分、以及除了外缘部分以外的内侧部分这2个感应区域。并且,外缘部分的宽度是根据框体72的大小等适当设计的。并且,作为在操作面板74B中采用的位置检测方式,举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电容量方式等,可以采用任一方式。
通话部86具备扬声器76、麦克风78,将通过麦克风78而输入的使用者的声音变换为能够由主控制部98进行处理的音频数据并输出至主控制部98,或者对由无线通信部84或者外部输入/输出部90接收到的音频数据进行译码而从扬声器76输出。另外,如图16所示,例如能够将扬声器76搭载在与设置有显示输入部74的面相同的面上,将麦克风78搭载在框体72的侧面上。
操作部80是采用了键开关等的硬件键,接受来自使用者的指示。例如,如图16所示,操作部80是按钮式开关,搭载在智能手机70的框体72的侧面,如果通过手指等按下,则接通,如果手指离开,则由于弹簧等的复原力而成为断开状态。
存储部88对主控制部98的控制程序、控制数据、应用软件、将通信对象的名称、电话号码等相关联的地址数据、接收/发送的电子邮件的数据、从Web浏览器下载的Web数据、下载的内容数据进行存储,另外,暂时存储流数据等。另外,存储部88由智能手机内置的内部存储部88A和具有可自由拆装的外部存储器槽的外部存储部88B构成。此外,构成存储部88的各个内部存储部88A和外部存储部88B采用如下存储介质等实现,即,闪存式(flashmemorytype)、硬盘式(harddisktype)、多介质卡微型式(multimediacardmicrotype)、卡式存储器(例如、MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory)、ROM(ReadOnlyMemory)。
外部输入/输出部90作为与和智能手机70连结的全部外部机器的接口起作用,通过通信等(例如,通用串行总线(USB)、IEEE1394等)或者网络(例如,因特网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(RadioFrequencyIdentification)、红外线通信(InfraredDataAssociation:IrDA(注册商标))、UWB(注册商标)(UltraWideband)、物联网(ZigBee(注册商标)等)而与其它外部机器直接或间接地连接。
作为与智能手机70连结的外部机器,例如存在:有线/无线头戴式受话器、有线/无线外部充电器、有线/无线数据端口、经由卡座而连接的存储卡(Memorycard)、SIM(SubscriberIdentityModuleCard)/UIM(UserIdentityModuleCard)卡、经由音频·视频I/O(Input/Output)端子而连接的外部音频·视频机器、无线连接的外部音频·视频机器、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入/输出部可以将接收到从上述的外部设备传送来的数据向智能手机70的内部的各结构要素传递、将智能手机70的内部的数据向外部机器传送。
GPS接收部92根据主控制部98的指示,接收从GPS卫星ST1~STn发送的GPS信号,基于接收到的多个GPS信号而执行测量位置运算处理,对由该智能手机70的纬度、经度、高度构成的位置进行检测。GPS接收部92在能够从无线通信部84、外部输入/输出部90(例如,无线LAN)取得位置信息时,也能够使用该位置信息检测出位置。
运动传感器部94例如具备3轴的加速度传感器,根据主控制部98的指示,检测出智能手机70的物理运动。通过检测出智能手机70的物理运动,检测出智能手机70的运动方向、加速度。该检测结果被输出至主控制部98。
电源部96根据主控制部98的指示,向智能手机70的各部分供给积蓄在电池(未图示)中的电力。
主控制部98具备微处理器,根据存储部88所存储的控制程序、控制数据而动作,综合地控制智能手机70的各部分。另外,主控制部98为了通过无线通信部84而进行音频通信、数据通信,具备控制通信系统的各部分的移动通信控制功能、和应用程序处理功能。
应用程序处理功能通过主控制部98根据存储部88所存储的应用软件进行动作而实现。作为应用程序处理功能,例如存在控制外部输入/输出部90而与对象机器进行数据通信的红外线通信功能、进行电子邮件的接收/发动的电子邮件功能、浏览Web页面的Web浏览器功能等。
另外,主控制部98具备图像处理功能,该图像处理功能是基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据),将影像显示于显示输入部74等。图像处理功能是指主控制部98对上述图像数据进行译码,对该译码结果实施图像处理,并将图像显示于显示输入部74的功能。
并且,主控制部98执行针对显示面板74A的显示控制、对通过操作部80、操作面板74B做出的使用者的操作进行检测的操作检测控制。
通过显示控制的执行,主控制部98对用于启动应用软件的图标、滚动条等软件键进行显示,或者对用于作成电子邮件的窗口进行显示。此外,滚动条是指针对无法完全收容在显示面板74A的显示区域中的较大的图像等,用于接受对图像的显示部分进行移动的指示的软件键。
另外,通过操作检测控制的执行,主控制部98对通过操作部80做出的使用者的操作进行检测,或者接受通过操作面板74B而针对上述图标的操作、向上述窗口的输入栏输入的字符串,或者接受通过滚动条发出的显示图像的滚动要求。
并且,通过操作检测控制的执行,主控制部98具备触摸面板控制功能,该触摸面板控制功能是判定相对于操作面板74B的操作位置是与显示面板74A重叠的重叠部分(显示区域),还是除此之外的与显示面板74A不重叠的外缘部分(非显示区域),对操作面板74B的感应区域、软件键的显示位置进行控制。
另外,主控制部98还能够检测出对操作面板74B的手势操作,根据检测出的手势操作,执行预先设定的功能。手势操作不是指以往的单纯的触摸操作,而是指利用手指等描画轨迹,或者同时指定多个位置,或者将它们组合而从多个位置对至少1个位置描画轨迹的操作。
照相机部82是利用CMOS(ComplementaryMetalOxideSemiconductor)、CCD(Charge-CoupledDevice)等拍摄元件进行电子拍摄的数字照相机。另外,照相机部82能够通过主控制部98的控制,将通过摄像得到的图像数据变换为例如JPEG(JointPhotographiccodingExpertsGroup)等压缩后的图像数据,并记录在存储部88中,或者通过输入/输出部90、无线通信部84而输出。在图16示出的智能手机70中,照相机部82搭载在与显示输入部74相同的面上,但照相机部82的搭载位置并不限定于此,也可以搭载在显示输入部74的背面,或者搭载多个照相机部82。此外,在搭载多个照相机部82的情况下,能够对用于拍摄的照相机部82进行切换而单独地进行拍摄,或者也能够同时使用多个照相机部82进行拍摄。
另外,照相机部82能够利用智能手机70的各种功能。例如,能够在显示面板74A中显示由照相机部82取得的图像,利用照相机部82的图像作为操作面板74B的操作输入之一。另外,在GPS接收部92检测位置时,参照来自照相机部82的图像也能够检测出位置。并且,参照来自照相机部82的图像,而不使用3轴的加速度传感器,或者与3轴的加速度传感器同时使用,也能够判断智能手机70的照相机部82的光轴方向、判断当前的使用环境。当然,也能够在应用软件内利用来自照相机部82的图像。
除此以外,也能够在静止画面或者动态画面的图像数据中附加利用GPS接收部92取得的位置信息、利用麦克风78取得的音频信息(也可以是通过主控制部等进行音频文本变换而取得的文本信息)、利用运动传感器部94取得的姿势信息等,并记录在存储部88中,或者通过输入/输出部90、无线通信部84而输出。
Claims (16)
1.一种图像处理装置,其具备:
图像取得单元,其取得多次拍摄同一被摄体而得到的多个图像;
基准图像选择单元,其选择所述多个图像中的某1个图像作为基准图像;
变形图像生成单元,其针对未被所述基准图像选择单元选择的非基准图像,通过进行平行移动、旋转移动以及伸缩中的至少1个而使该非基准图像变形,使得该非基准图像中的特征点与所述基准图像中的特征点大体一致;
噪声降低图像生成单元,其对所述基准图像进行降低噪声的处理而生成噪声降低图像;
中间合成图像生成单元,所述基准图像和变形图像之间的对应的像素间的像素值的第1差的绝对值越大,其将所述基准图像相对于所述变形图像的权重系数设定得越大,所述中间合成图像生成单元基于该针对每个像素设定出的权重系数,对所述基准图像和所述变形图像进行合成处理并生成中间合成图像;以及
最终图像生成单元,所述基准图像和所述中间合成图像之间的对应的像素间的像素值的第2差的绝对值越大,其将所述噪声降低图像相对于所述中间合成图像的权重系数设定得越小,所述最终图像生成单元基于该针对每个像素设定出的权重系数,对所述中间合成图像和所述噪声降低图像进行合成处理并生成最终图像。
2.根据权利要求1所述的图像处理装置,其中,
所述中间合成图像生成单元设定为,在所述第1差的绝对值大于第1阈值而小于或等于比所述第1阈值大的第2阈值的情况下,该第1差的绝对值越大,使所述基准图像相对于所述变形图像的权重系数逐渐增大,对所述基准图像和所述变形图像进行合成处理。
3.根据权利要求1所述的图像处理装置,其中,
所述最终图像生成单元设定为,在所述第2差的绝对值大于第3阈值而小于或等于比所述第3阈值大的第4阈值的情况下,该第2差的绝对值越大,使所述噪声降低图像相对于所述中间合成图像的权重系数逐渐减小,对所述噪声降低图像和所述中间合成图像进行合成处理。
4.根据权利要求2所述的图像处理装置,其中,
所述最终图像生成单元设定为,在所述第2差的绝对值大于第3阈值而小于或等于比所述第3阈值大的第4阈值的情况下,该第2差的绝对值越大,使所述噪声降低图像相对于所述中间合成图像的权重系数逐渐减小,对所述噪声降低图像和所述中间合成图像进行合成处理。
5.根据权利要求1所述的图像处理装置,其中,
所述噪声降低图像生成单元以如下方式生成噪声降低图像,即,所述中间合成图像生成单元的合成处理的次数越多,使降低噪声的强度越大,其中,所述中间合成图像生成单元对多个非基准图像的各个非基准图像进行合成处理。
6.根据权利要求2所述的图像处理装置,其中,
所述噪声降低图像生成单元以如下方式生成噪声降低图像,即,所述中间合成图像生成单元的合成处理的次数越多,使降低噪声的强度越大,其中,所述中间合成图像生成单元对多个非基准图像的各个非基准图像进行合成处理。
7.根据权利要求3所述的图像处理装置,其中,
所述噪声降低图像生成单元以如下方式生成噪声降低图像,即,所述中间合成图像生成单元的合成处理的次数越多,使降低噪声的强度越大,其中,所述中间合成图像生成单元对多个非基准图像的各个非基准图像进行合成处理。
8.根据权利要求1所述的图像处理装置,其中,
所述噪声降低图像生成单元以如下方式生成噪声降低图像,即,所述中间合成图像中的所述基准图像的权重越大,使降低噪声的强度越小。
9.根据权利要求2所述的图像处理装置,其中,
所述噪声降低图像生成单元以如下方式生成噪声降低图像,即,所述中间合成图像中的所述基准图像的权重越大,使降低噪声的强度越小。
10.根据权利要求3所述的图像处理装置,其中,
所述噪声降低图像生成单元以如下方式生成噪声降低图像,即,所述中间合成图像中的所述基准图像的权重越大,使降低噪声的强度越小。
11.根据权利要求1所述的图像处理装置,其中,
还具备单纯合成图像生成单元,该单纯合成图像生成单元以全部图像为相同的权重的方式将所述多个图像分别合成而生成单纯合成图像,
所述最终图像生成单元,所述单纯合成图像和所述中间合成图像之间的对应的像素间的像素值的第3差的绝对值越大,其将所述噪声降低图像相对于所述中间合成图像的权重系数设定得越大,对所述噪声降低图像和所述中间合成图像进行合成处理。
12.根据权利要求11所述的图像处理装置,其中,
所述最终图像生成单元设定为,在所述第3差的绝对值大于第5阈值而小于或等于比所述第5阈值大的第6阈值的情况下,该差的绝对值越大,使所述噪声降低图像相对于所述中间合成图像的权重系数逐渐增大,对所述噪声降低图像和所述中间合成图像进行合成处理。
13.根据权利要求1所述的图像处理装置,其中,
所述最终图像生成单元,所述中间合成图像中的所述基准图像的权重越大,其将所述噪声降低图像相对于所述中间合成图像的权重系数设定得越大,对所述噪声降低图像和所述中间合成图像进行合成处理。
14.根据权利要求13所述的图像处理装置,其中,
所述最终图像生成单元设定为,在所述中间合成图像中的所述基准图像的权重大于第7阈值而小于或等于比所述第7阈值大的第8阈值的情况下,所述中间合成图像中的所述基准图像的权重越大,使所述噪声降低图像相对于所述中间合成图像的权重系数逐渐增大,所述最终图像生成单元对所述噪声降低图像和所述中间合成图像进行合成处理。
15.一种拍摄装置,其具备:
拍摄被摄体的拍摄单元;以及
权利要求1至14中任一项所述的图像处理装置,
所述取得单元取得利用所述拍摄单元多次拍摄同一被摄体而得到的图像。
16.一种图像处理方法,其具备:
图像取得步骤,在该步骤中,取得多次拍摄同一被摄体而得到的多个图像;
基准图像选择步骤,在该步骤中,选择所述多个图像中的某1个图像作为基准图像;
变形图像生成步骤,在该步骤中,针对未被所述基准图像选择步骤选择的非基准图像,通过进行平行移动、旋转移动以及伸缩中的至少1个而使该非基准图像变形,使得该非基准图像中的特征点与所述基准图像中的特征点大体一致;
噪声降低图像生成步骤,在该步骤中,对所述基准图像进行降低噪声的处理而生成噪声降低图像;
中间合成图像生成步骤,在该步骤中,所述基准图像和变形图像之间的对应的像素间的像素值的第1差的绝对值越大,将所述基准图像相对于所述变形图像的权重系数设定得越大,基于该针对每个像素设定出的权重系数,对所述基准图像和所述变形图像进行合成处理并生成中间合成图像;以及
最终图像生成步骤,在该步骤中,所述基准图像和所述中间合成图像之间的对应的像素间的像素值的第2差的绝对值越大,将所述噪声降低图像相对于所述中间合成图像的权重系数设定得越小,基于该针对每个像素设定出的权重系数,对所述中间合成图像和所述噪声降低图像进行合成处理并生成最终图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-080949 | 2012-03-30 | ||
JP2012080949 | 2012-03-30 | ||
PCT/JP2013/050243 WO2013145799A1 (ja) | 2012-03-30 | 2013-01-09 | 画像処理装置、撮影装置、プログラム及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104205804A CN104205804A (zh) | 2014-12-10 |
CN104205804B true CN104205804B (zh) | 2016-05-25 |
Family
ID=49259085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380017049.1A Active CN104205804B (zh) | 2012-03-30 | 2013-01-09 | 图像处理装置、拍摄装置以及图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9235916B2 (zh) |
JP (1) | JP5567235B2 (zh) |
CN (1) | CN104205804B (zh) |
WO (1) | WO2013145799A1 (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014192487A1 (ja) * | 2013-05-29 | 2014-12-04 | 日本電気株式会社 | 多眼撮像システム、取得画像の合成処理方法、及びプログラム |
JP5953285B2 (ja) * | 2013-11-11 | 2016-07-20 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
CN105556957B (zh) * | 2014-08-27 | 2018-06-26 | 华为技术有限公司 | 一种图像处理方法、计算机存储介质、装置及终端 |
JP6452414B2 (ja) * | 2014-12-03 | 2019-01-16 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
GB2536430B (en) * | 2015-03-13 | 2019-07-17 | Imagination Tech Ltd | Image noise reduction |
GB2536429B (en) * | 2015-03-13 | 2018-01-10 | Imagination Tech Ltd | Image noise reduction |
CN107683403B (zh) * | 2015-06-09 | 2020-05-05 | 富士胶片株式会社 | 距离图像获取装置以及距离图像获取方法 |
TWI598847B (zh) | 2015-10-27 | 2017-09-11 | 東友科技股份有限公司 | 影像接合方法 |
JP2017092909A (ja) * | 2015-11-17 | 2017-05-25 | 株式会社東芝 | 撮像装置、画像処理装置およびプログラム |
CN105491358B (zh) * | 2015-11-26 | 2018-11-16 | 努比亚技术有限公司 | 一种图像处理方法及装置、终端 |
TW201742001A (zh) * | 2016-05-30 | 2017-12-01 | 聯詠科技股份有限公司 | 影像雜訊估測方法及裝置與影像擷取裝置 |
US10475215B2 (en) * | 2016-09-23 | 2019-11-12 | Carestream Health, Inc. | CBCT image processing method |
CN107220951A (zh) * | 2017-05-31 | 2017-09-29 | 广东欧珀移动通信有限公司 | 人脸图像降噪方法、装置、存储介质及计算机设备 |
CN107330867B (zh) | 2017-06-16 | 2020-02-18 | Oppo广东移动通信有限公司 | 图像合成方法、装置、计算机可读存储介质和计算机设备 |
WO2019043901A1 (ja) * | 2017-09-01 | 2019-03-07 | 株式会社島津製作所 | 画像処理装置 |
US20200099862A1 (en) * | 2018-09-21 | 2020-03-26 | Qualcomm Incorporated | Multiple frame image stabilization |
CN109889695A (zh) * | 2019-02-27 | 2019-06-14 | 努比亚技术有限公司 | 一种图像区域确定方法、终端及计算机可读存储介质 |
CN109951634B (zh) * | 2019-03-14 | 2021-09-03 | Oppo广东移动通信有限公司 | 图像合成方法、装置、终端及存储介质 |
JP6562492B1 (ja) * | 2019-05-16 | 2019-08-21 | 株式会社モルフォ | 画像処理装置、画像処理方法及びプログラム |
CN110827219B (zh) * | 2019-10-31 | 2023-04-07 | 北京小米智能科技有限公司 | 图像处理模型的训练方法、装置及介质 |
CN111401411B (zh) * | 2020-02-28 | 2023-09-29 | 北京小米松果电子有限公司 | 获取样本图像集的方法及装置 |
JP2022159844A (ja) * | 2021-04-05 | 2022-10-18 | キヤノン株式会社 | 画像形成装置、その制御方法、及びプログラム |
US11330145B1 (en) | 2021-06-10 | 2022-05-10 | Bank Of America Corporation | Image processing edge device for document noise removal |
CN116862918B (zh) * | 2023-09-05 | 2023-11-24 | 浙江奔月电气科技有限公司 | 基于人工智能的环网柜内部凝露实时检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1748409A (zh) * | 2003-02-05 | 2006-03-15 | 松下电器产业株式会社 | 图像处理装置、图像处理程序和记录了该程序的记录介质 |
CN101222584A (zh) * | 2007-01-12 | 2008-07-16 | 三洋电机株式会社 | 晃动检测装置、晃动修正装置及方法 |
JP2009194700A (ja) * | 2008-02-15 | 2009-08-27 | Olympus Corp | 画像処理装置及び画像処理プログラム |
JP2010141653A (ja) * | 2008-12-12 | 2010-06-24 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
JP2010200178A (ja) * | 2009-02-26 | 2010-09-09 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5517242A (en) * | 1993-06-29 | 1996-05-14 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Image sensing device having expanded dynamic range |
JP3539539B2 (ja) * | 1998-04-28 | 2004-07-07 | シャープ株式会社 | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
JP4727720B2 (ja) * | 2008-12-31 | 2011-07-20 | 株式会社モルフォ | 画像処理方法および画像処理装置 |
-
2013
- 2013-01-09 WO PCT/JP2013/050243 patent/WO2013145799A1/ja active Application Filing
- 2013-01-09 JP JP2014507456A patent/JP5567235B2/ja not_active Expired - Fee Related
- 2013-01-09 CN CN201380017049.1A patent/CN104205804B/zh active Active
-
2014
- 2014-09-25 US US14/496,010 patent/US9235916B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1748409A (zh) * | 2003-02-05 | 2006-03-15 | 松下电器产业株式会社 | 图像处理装置、图像处理程序和记录了该程序的记录介质 |
CN101222584A (zh) * | 2007-01-12 | 2008-07-16 | 三洋电机株式会社 | 晃动检测装置、晃动修正装置及方法 |
JP2009194700A (ja) * | 2008-02-15 | 2009-08-27 | Olympus Corp | 画像処理装置及び画像処理プログラム |
JP2010141653A (ja) * | 2008-12-12 | 2010-06-24 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
JP2010200178A (ja) * | 2009-02-26 | 2010-09-09 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20150010247A1 (en) | 2015-01-08 |
CN104205804A (zh) | 2014-12-10 |
US9235916B2 (en) | 2016-01-12 |
JP5567235B2 (ja) | 2014-08-06 |
WO2013145799A1 (ja) | 2013-10-03 |
JPWO2013145799A1 (ja) | 2015-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104205804B (zh) | 图像处理装置、拍摄装置以及图像处理方法 | |
CN107566529B (zh) | 一种拍照方法、移动终端及云端服务器 | |
KR101906827B1 (ko) | 연속 사진 촬영 장치 및 방법 | |
CN109040643B (zh) | 移动终端及远程合影的方法、装置 | |
CN104700353B (zh) | 图像滤镜生成方法及装置 | |
CN104270565B (zh) | 图像拍摄方法、装置及设备 | |
CN109361865A (zh) | 一种拍摄方法及终端 | |
CN105528786B (zh) | 图像处理方法及装置 | |
CN108712603B (zh) | 一种图像处理方法及移动终端 | |
CN105279499B (zh) | 年龄识别方法及装置 | |
WO2018120662A1 (zh) | 一种拍照方法,拍照装置和终端 | |
WO2021103737A1 (zh) | 拍照方法及电子设备 | |
CN108777766B (zh) | 一种多人拍照方法、终端及存储介质 | |
CN107623818B (zh) | 一种图像曝光方法和移动终端 | |
CN108234875A (zh) | 拍摄显示方法、装置、移动终端以及存储介质 | |
CN111246106B (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
WO2022227393A1 (zh) | 图像拍摄方法及装置、电子设备和计算机可读存储介质 | |
CN106664366A (zh) | 图像处理装置、摄像装置、图像处理方法以及程序 | |
CN105528078B (zh) | 控制电子设备的方法及装置 | |
CN109978996B (zh) | 生成表情三维模型的方法、装置、终端及存储介质 | |
CN110930329A (zh) | 星空图像处理方法及装置 | |
CN107357500A (zh) | 一种图片调整方法、终端及存储介质 | |
CN110827195A (zh) | 虚拟物品添加方法、装置、电子设备及存储介质 | |
CN108040204A (zh) | 一种基于多摄像头的图像拍摄方法、装置及存储介质 | |
CN108881544A (zh) | 一种拍照的方法及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |