CN103385005B - 立体图像处理装置以及立体图像处理方法 - Google Patents
立体图像处理装置以及立体图像处理方法 Download PDFInfo
- Publication number
- CN103385005B CN103385005B CN201280009669.6A CN201280009669A CN103385005B CN 103385005 B CN103385005 B CN 103385005B CN 201280009669 A CN201280009669 A CN 201280009669A CN 103385005 B CN103385005 B CN 103385005B
- Authority
- CN
- China
- Prior art keywords
- image
- mentioned
- effect
- image processing
- special
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 125
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 276
- 230000008569 process Effects 0.000 claims abstract description 267
- 230000009466 transformation Effects 0.000 claims abstract description 54
- 238000005520 cutting process Methods 0.000 claims abstract description 19
- 238000003860 storage Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 238000009877 rendering Methods 0.000 claims description 79
- 230000000694 effects Effects 0.000 claims description 45
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000013501 data transformation Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 66
- 230000009471 action Effects 0.000 description 30
- 238000003384 imaging method Methods 0.000 description 30
- 238000003825 pressing Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 13
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 230000006837 decompression Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000011282 treatment Methods 0.000 description 10
- 208000002173 dizziness Diseases 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 208000034699 Vitreous floaters Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
Abstract
提供施加了特殊效果的立体图像能够被没有违和感地自然地观察、并且能够在不增加处理时间和所需存储量的情况下生成的立体图像处理装置以及立体图像处理方法。将RAW数据(#201L、#201R)变换成与特殊效果对应的灰度(#203L、#203R);针对进行灰度变换后的图像数据至少进行切出为立体视的图像数据、或者几何学变换中的任意一个处理,来生成立体图像数据(#211、#221);以及对立体图像数据进行施加与光学形成的图像相似的特殊效果或与利用胶片和显影洗印步骤形成的图像相似的特殊效果的特殊图像处理(#223),生成立体特殊图像(#225)。
Description
技术领域
本发明涉及进行同时应用了立体图像和特殊图像处理的图像生成的立体图像处理装置以及立体图像处理方法。
背景技术
在数字照相机等摄影装置中,存在具有使用多个图像拍摄可立体视的立体图像(三维图像)的功能的摄影装置。例如,在专利文献1中公开了如下的装置和方法:按照每个视差计算区域计算与影像的远近相关的图像特征量,根据图像特征量按照画面所包含的每个物体进行分组,根据分组结果和图像特征量生成各组的与影像远近相关的信息,并变换为视差信息,由此将二维图像变换为三维图像。此外,还公知有通过使用双眼相机和专用镜头来拍摄三维图像的摄影设备。
另一方面,还提出了使用通过摄影取得的RAW数据生成施加了特殊效果的图像数据的各种方案。例如,在专利文献2中,公开了能够施加特殊效果的图像处理装置,该特殊效果是指生成有胶卷那样的粒状感(噪声)且高对比度的图像。此外,公开了专利文献3所示的能够生成施加了以下各种特殊效果的图像的具有艺术过滤功能的图像处理装置:生成对周边进行减光后的图像的特殊效果;生成色度和对比度高且使图像的一部分晕映的图像的特殊效果;生成反差弱的对比度且进行了软对焦摄影那样的图像的特殊效果;以及对光源描绘十字等图案的特殊效果等。
现有技术文献
专利文献
专利文献1:日本特许第2951291号公报
专利文献2:日本特开2010-62836号公报
专利文献3:日本特开2010-74244号公报
发明内容
发明所要解决的课题
如上所述,提出了各种用于取得三维图像的摄影装置,并且还提出了各种生成施加了特殊效果的图像数据的图像处理装置。在生成同时应用了三维图像和特殊效果的图像的情况下,考虑使用施加了特殊效果的多个图像生成三维图像、或者对所生成的三维图像施加特殊效果来生成图像的方法。
在前者的情况下,即、使用施加了特殊效果的多个图像生成三维图像的情况下,当要使用施加了特殊效果的多个图像生成三维图像时,在进行在生成三维图像的过程中进行的图像的切出和旋转/梯形校正等时,应用的效果有时会显著发生变化。例如,在施加了有粒状感的特殊效果、以及对周边进行减光的特殊效果的图像中,粒状感有时会由于旋转/梯形校正而发生变化,从而产生粒状感的损坏等。此外,根据切出位置,被减光的部分有时会发生偏离。
此外,在后者的情况下,即、对所生成的三维图像施加特殊效果来生成图像的情况下,在对视觉效果非常有影响的对比度和色度进行变换时,会由于比特精度不足而产生灰度跳变,为了抑制灰度跳变,必须以高比特来生成三维图像。因此,图像处理耗费时间,存储量由于图像数据的高比特化而增大。
本发明正是鉴于这种情况而完成的,其目的在于提供施加了特殊效果的立体图像能够被没有违和感地自然地观察的立体图像处理装置以及立体图像处理方法。目的还在于提供能够生成立体图像而不增加处理时间和所需存储量的立体图像处理装置以及立体图像处理方法。
用于解决课题的手段
本发明的第1发明的立体图像处理装置通过对拍摄得到的RAW数据实施图像处理,生成在视觉上施加了特殊效果、且能够立体视的图像数据,该立体图像处理装置具备:灰度变换部,其对应于上述特殊效果将上述RAW数据变换成灰度;立体图像数据处理部,其针对通过上述灰度变换部进行灰度变换后的图像数据至少进行切出为立体视的图像数据、或者几何学变换中的任意一个处理,生成立体图像数据;以及特殊效果图像处理部,其对在上述立体图像数据处理部中生成的上述立体图像数据进行特殊图像处理,来生成立体特殊图像,上述特殊图像处理施加与光学形成的图像相似的特殊效果或与利用胶片和显影洗印步骤形成的图像相似的特殊效果。
第2发明的立体图像处理装置在上述第1发明中,上述特殊效果图像处理部根据与生成上述立体图像数据的多个图像数据中的作为基准的图像数据的预定位置对应的图像数据的位置,对各图像数据进行上述特殊图像处理。
第3发明的立体图像处理装置在上述第1发明中,上述特殊效果图像处理部对进行了根据图像数据中的坐标位置而不同的图像处理、或者与相邻的像素不同的处理后的图像数据进行合成。
第4发明的立体图像处理装置在上述第1发明中,所述立体图像处理装置还具备图像处理参数存储部,该图像处理参数存储部存储确定上述灰度变换部中的图像处理内容的第1图像处理参数、和确定上述灰度变换部中的图像处理内容的第2图像处理参数,该第2图像处理参数与上述第1图像处理参数不同,用于特殊图像处理,使用由上述灰度处理部利用上述第1图像处理参数进行图像处理后的图像来确定在上述立体图像数据处理部中进行的处理内容,使用上述第2图像处理参数进行基于上述特殊效果的图像处理,在上述立体图像数据处理部中对进行了基于上述特殊效果的图像处理后的图像生成立体图像。
第5发明的立体图像处理装置在上述第1发明中,上述RAW数据有两个以上。
第6发明的立体图像处理装置在上述第1发明中,在一并生成上述立体视特殊图像以外的图像数据的情况下,上述灰度变换部除了上述灰度变换以外,还进行将上述RAW数据变换为与上述立体视特殊图像效果以外的生成图像对应的灰度的处理。
第7发明的立体图像处理装置在上述第1发明中,所述立体图像处理装置还具有存储通过上述特殊效果图像处理部进行处理后的立体图像数据的存储部,该存储部存储用于确定在生成上述立体图像数据时进行的处理的数据。
第8发明的立体图像处理装置在上述第1发明中,所述立体图像处理装置还具有存储多个图像数据的多重记录部,该多重记录部存储通常的二维图像、3D图像和施加了特殊效果的3D图像内的至少两个以上的图像数据。
第9发明的立体图像处理方法通过对拍摄得到的RAW数据实施图像处理,生成表现出视觉上的特殊效果、且能够立体视的图像数据,该立体图像处理方法中,将上述RAW数据变换成与上述特殊效果对应的灰度;针对进行上述灰度变换后的图像数据至少进行切出为立体视的图像数据、或者几何学变换中的任意一个处理,生成立体图像数据;以及对上述立体图像数据进行特殊图像处理来生成立体特殊图像,上述特殊图像处理施加与光学形成的图像相似的特殊效果或与利用胶片和显影洗印步骤形成的图像相似的特殊效果。
第10发明的立体图像处理方法在上述第9发明中,在上述RAW数据的与上述特殊效果对应的图像处理之前、且执行了边缘强调处理之后,进行噪声减少处理。
第11发明的记录了立体图像处理程序的记录介质,该立体图像处理程序用于使计算机执行通过对拍摄得到的RAW数据实施图像处理,而生成表现出视觉上的特殊效果、且能够立体视的图像数据的步骤,在该立体图像处理程序中,将上述RAW数据变换成与上述特殊效果对应的灰度;针对进行上述灰度变换后的图像数据至少进行切出为立体视的图像数据、或者几何学变换中的任意一个处理,生成立体图像数据;以及对上述立体图像数据进行特殊图像处理来生成立体特殊图像,上述特殊图像处理施加与光学形成的图像相似的特殊效果或与利用胶片和显影洗印步骤形成的图像相似的特殊效果。
发明的效果
根据本发明,可提供施加了特殊效果的立体图像能够被没有违和感地自然地观察的立体图像处理装置以及立体图像处理方法。此外,可提供能够生成立体图像而不增加处理时间和所需存储量的立体图像处理装置以及立体图像处理方法。
附图说明
图1是示出本发明的第1实施方式的照相机的主要电气系统的整体结构的框图。
图2是示出本发明的第1实施方式的照相机的主流程的流程图。
图3是示出本发明的第1实施方式的照相机的主流程的流程图。
图4是示出本发明的第1实施方式的照相机的图像处理的动作的流程图。
图5是示出本发明的第1实施方式的照相机的特殊图像处理的动作的流程图。
图6是示出本发明的第1实施方式的照相机的图像处理/3D生成的动作的流程图。
图7是示出在本发明的第1实施方式的照相机中数据与处理之间的关系的图。
图8是示出在本发明的第1实施方式的照相机中,每个特殊效果的效果概要、色度参数、伽马处理以及处理内容之间的关系的图表。
图9是示出在本发明的第1实施方式的照相机中,根据特殊效果应用的伽马值的曲线图。
图10是说明在本发明的第1实施方式的照相机中施加特殊图像处理的位置的图。
图11是示出本发明的第2实施方式的照相机的图像处理/3D生成的动作的流程图。
图12是示出在本发明的第2实施方式的照相机中数据与处理之间的关系的图。
图13是示出本发明的第3实施方式的照相机的主要电气系统的整体结构的框图。
图14是示出本发明的第3实施方式的照相机的主流程的流程图。
图15是示出本发明的第3实施方式的照相机的主流程的流程图。
图16是示出本发明的第3实施方式的照相机的图像处理/3D生成的动作的流程图。
图17是说明本发明的第1至第3实施方式的照相机可应用的多重记录的图。
图18是说明本发明的第1至第3实施方式的照相机可应用的双重引擎的图。
具体实施方式
以下,依照附图使用应用了本发明的照相机对优选实施方式进行说明。本发明的优选的一个实施方式的照相机是数字照相机,具有包含摄像元件103等的摄像部,通过该摄像部将被摄体像变换为图像数据,并根据该变换后的图像数据,在配置于机身背面的由LCD 135构成的显示部上对被摄体像进行实时取景显示。摄影者通过观察实时取景显示,决定构图和快门时机。在快门释放操作时,将图像数据记录到记录介质131。
此外,在设定了3D摄影模式的情况下,当在第1位置处进行拍摄后,在第2位置处进行拍摄时,照相机生成立体图像(三维图像、3D图像),并记录到记录介质。此外,在通过对操作部123进行操作来进行特殊效果(art filter,艺术过滤:注册商标)的设定时,用所设定的特殊效果对图像数据进行图像处理,对特殊效果图像进行实时取景显示,并且还记录到记录介质131。
图1是示出本发明的第1实施方式的照相机的主要电气结构的框图。该照相机由照相机主体100、和能够在该主体上进行拆装的更换式镜头200构成。另外,在本实施方式中,将摄影镜头设为了更换镜头式,但是不限于此,当然可以是在照相机主体上固定摄影镜头的类型的数字照相机。
更换式镜头200由摄影镜头201、光圈203、驱动器205、微型计算机207和闪存209构成,在与后述的照相机主体100之间具有接口(以后称作I/F)300。
摄影镜头201由用于形成被摄体的像的多个光学透镜构成,是单焦点透镜或变焦透镜。在该摄影镜头201的光轴后方配置有光圈203,光圈203的口径是可变的,对通过摄影镜头201的被摄体光束的光量进行限制。此外,摄影镜头201能够通过驱动器205在光轴方向上移动,根据来自微型计算机207的控制信号,控制摄影镜头201的焦点位置,在变焦透镜的情况下,还控制焦距。此外,驱动器205还进行光圈203的口径控制。
与驱动器205连接的微型计算机207与I/F300以及闪存209连接。微型计算机207依照存储在闪存209中的程序进行动作,与后述的照相机主体100内的微型计算机21进行通信,并根据来自微型计算机121的控制信号进行更换式镜头200的控制。
在闪存209中,除了上述程序以外,还存储有更换式镜头200的光学特性和调整值等各种信息。I/F300是用于进行更换式镜头200内的微型计算机207与照相机主体100内的微型计算机121相互之间的通信的接口。
在照相机主体100内,且在摄影镜头201的光轴上,配置有机械快门101。该机械快门101对被摄体光束的通过时间进行控制,采用了公知的焦面快门等。在该机械快门101的后方、通过摄影镜头201形成被摄体像的位置上,配置有摄像元件103。
摄像元件103将构成各像素的光电二极管二维地配置成矩阵状,各光电二极管产生与受光量对应的光电变换电流,该光电变换电流通过与各光电二极管连接的电容器被蓄积电荷。在各像素的前面,配置有拜尔排列的RGB滤色器。另外,摄像元件103不限于拜尔排列,当然也可以是例如Fovion那样的形式。
摄像元件103与模拟处理部105连接,该模拟处理部105在对从摄像元件103读出的光电变换信号(模拟图像信号)减少复位噪声后进行波形整形,并且进行增益放大以成为适当的亮度。模拟处理部105与A/D变换部107连接,该A/D变换部107对模拟图像信号进行模拟-数字变换,并将数字图像信号(以后称作图像数据)输出到总线110。另外,在本说明书中,将在图像处理部109中进行图像处理前的原本的图像数据称作RAW数据。在设定了3D摄影模式的情况下,取得两个以上的RAW数据以用于生成3D图像。
总线110是用于将在照相机主体100内部读出或生成的各种数据传送到照相机主体100的内部的传送路径。在总线110上,除了上述A/D变换部107以外,还连接有图像处理部109、AE(Auto Exposure:自动曝光)处理部111、AF(Auto Focus:自动对焦)处理部113、3D图像生成部115、图像压缩解压缩部117、微型计算机121、SDRAM(Synchronous DRAM:同步动态随机存取存储器)127、存储器接口(以后称作存储器I/F)129、液晶显示器(以后称作LCD)驱动器133。
图像处理部109具有进行基本的图像处理的基本图像处理部109a、和在设定了艺术过滤的情况下用于施加特殊效果的特殊图像处理部109b。基本图像处理部109a对RAW数据进行光学黑(OB)减法运算处理、白平衡(WB)校正、以及在拜尔数据的情况下进行的同时化处理、伽马/颜色再现处理、颜色矩阵运算、噪声减少(NR)处理和边缘强调处理等。此外,基本图像处理部109a在上述伽马/颜色再现处理中,作为进行与特殊效果(艺术过滤)对应的伽马校正(灰度变换)的灰度变换部发挥功能。另外,关于颜色再现处理(颜色校正、色度校正)也进行与特殊效果对应的处理。
此外,特殊图像处理部109b根据所设定的特殊效果(艺术过滤),进行赋予阴影附加、晕映附加、软对焦附加、噪声附加、十字滤光镜效果附加等各种视觉上的特殊效果的特殊图像处理。为了进行这些各种图像处理,图像处理部109读出临时存储在SDRAM 127中的图像数据,对该图像数据实施图像处理,并将实施图像处理后的图像数据输出到总线110。特殊图像处理部109b作为对在作为立体图像数据处理部发挥功能的3D图像生成部115中生成的立体图像数据进行特殊图像处理,从而生成立体特殊图像的特殊效果图像处理部发挥功能,该特殊图像处理施加与光学形成的图像相似的特殊效果或与用胶片和显影洗印步骤形成的图像相似的特殊效果等。
AE处理部111根据经由总线110输入的图像数据测量被摄体亮度,并经由总线110将该被摄体亮度信息输出到微型计算机121。也可以设置专用的测光传感器以用于被摄体亮度测量,但是在本实施方式中,根据图像数据计算被摄体亮度。
AF处理部113从图像数据中提取高频成分信号,通过累计处理取得对焦评价值,并经由总线110将该值输出到微型计算机121。在本实施方式中,通过所谓的对比度法进行摄影镜头201的对焦。
3D图像生成部115使用多张图像生成3D图像数据(也称作立体图像数据)。在本实施方式中,使用在第1位置拍摄的图像(例如左眼用)、和在第2位置拍摄的图像(例如右眼用)这两张图像生成3D图像数据。该3D图像生成部115作为立体图像数据处理部发挥功能,其针对通过作为灰度变换部发挥功能的基本图像处理部109a进行灰度变换后的图像数据,至少进行切出为立体视的图像数据、或者旋转校正和梯形校正等几何学变换中的任意一个处理来生成立体图像数据。
图像压缩解压缩部117在将图像数据记录到记录介质131时,针对从SDRAM 127读出的图像数据,在静态图像的情况下依照JPEG压缩方式等,并且在动态图像的情况下依照MPEG等各种压缩方式进行压缩。微型计算机121对JPEG图像数据和MPEG图像数据,附加构成JPEG文件、MPO文件和MPEG文件所需的头部来生成JPEG文件、MPO文件和MPEG文件,并经由存储器I/F 129将该所生成的文件记录到记录介质131中。
此外,图像压缩解压缩部117还进行JPEG图像数据和MPEG图像数据的解压缩以用于图像再现显示。在解压缩时,读出记录在记录介质131中的文件,并在图像压缩解压缩部117中实施了解压缩处理后,将解压缩后的图像数据临时存储到SDRAM127中。另外,在本实施方式中,采用JPEG压缩方式或MPEG压缩方式作为图像压缩方式,但是压缩方式不限于此,当然也可以是TIFF、H.264等其他压缩方式。
微型计算机121发挥作为该照相机整体的控制部的功能,综合控制照相机的各种动作序列。在微型计算机121上,除了上述I/F300以外,还连接有操作部123和闪存125。
操作部123包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字按钮、确定按钮等各种输入按钮和各种输入键等操作部件,操作部123检测这些操作部件的操作状态,将检测结果输出到微型计算机121。微型计算机121根据来自操作部123的操作部件的检测结果,执行与用户的操作对应的各种动作序列。电源按钮是用于指示该数字照相机的电源的接通/断开的操作部件。当按下电源按钮时,该数字照相机的电源接通,当再次按下电源按钮时,该数字照相机的电源断开。
快门释放按钮由通过半按下而接通的第一快门释放开关、和在从半按下起进一步按下而变为全按下时接通的第二快门释放开关构成。微型计算机121在第一释放开关接通时,执行AE动作或AF动作等摄影准备动作序列。此外,在第二释放开关接通时,控制机械快门101等,从摄像元件103等取得基于被摄体图像的图像数据,执行将该图像数据记录到记录介质131中的一系列摄影动作序列来进行摄影。
再现按钮是用于设定和解除再现模式的操作按钮,当设定了再现模式时,从记录介质131读出摄影图像的图像数据,并在LCD 135上对摄影图像进行再现显示。
菜单按钮是用于使LCD 135显示菜单画面的操作按钮。能够在菜单画面上进行各种照相机设定。作为照相机设定,存在特殊效果(艺术过滤)的设定。作为特殊效果,能够设定神奇对焦、流行艺术、玩具摄影、粗粒黑白、透视画等各种特殊效果(参照后述的图8)。
闪存125存储有用于执行微型计算机121的各种动作序列的程序。微型计算机121根据该程序进行照相机整体的控制。此外,闪存125存储有颜色矩阵系数、与白平衡模式对应的R增益和B增益、伽马表、曝光条件确定表等各种调整值。对于这些系数,根据设定的特殊效果(艺术过滤)存储不同的值。
SDRAM 127是图像数据等的临时存储用的可电改写的易失性存储器。该SDRAM 127对从A/D变换部107输出的图像数据、以及在图像处理部109和图像压缩解压缩部117等中进行了处理的图像数据进行临时存储。
存储器I/F 129与记录介质131连接,进行将图像数据和附加到图像数据上的文件头部等数据写入到记录介质131和从记录介质131读出的控制。记录介质131是例如在照相机主体100上拆装自如的存储卡等记录介质,但是不限于此,也可以是内置在照相机主体100中的硬盘等。
LCD驱动器133与LCD 135连接,根据从SDRAM 127或记录介质131读出、并通过图像压缩解压缩部117进行解压缩后的图像数据,使图像显示在LCD 135上。LCD 135包含配置在照相机主体100的背面等的液晶面板,进行图像显示。作为图像显示,包含在摄影之后立即短时间显示所记录的图像数据的记录浏览显示、记录在记录介质131中的静态图像或动态图像的图像文件的再现显示以及实时取景显示等的动态图像显示。另外,作为显示部,不限于LCD,当然也可以采用有机EL等其他显示面板。
接着,使用图2和图3所示的流程图,对本实施方式中的照相机的主处理进行说明。在该主流程中,省略与动态图像摄影相关的处理。另外,微型计算机121依照存储在闪存125中的程序执行图2至图6所示的流程图。
当操作了操作部123内的电源按钮且电源接通时,图2所示的主流程开始动作。在开始动作后,首先执行初始化(S1)。作为初始化,进行机械方式的初始化和各种标记等的初始化等电气方式的初始化。
在进行初始化后,接着判定是否按下了再现按钮(S3)。此处,检测操作部123内的再现按钮的操作状态进行判定。在该判定结果是按下了再现按钮的情况下,执行再现模式(S5)。此处,从记录介质131读出图像数据,在LCD 135上显示静态图像和动态图像的一览。用户通过操作十字按钮,从一览中选择图像,并通过确定按钮确定图像。当再现结束后,返回到步骤S3。
在步骤S3中的判定结果是没有按下再现按钮的情况下,接着判定是否对菜单按钮进行了操作(S7)。此处,检测操作部123内的菜单按钮的操作状态进行判定。
在步骤S7中的判定结果是按下了菜单按钮的情况下,进行照相机设定(S9)。如上所述,能够在菜单画面上进行各种照相机设定。作为照相机设定,例如有3D摄影模式等各种摄影模式,并且作为图像的完成效果(仕上がり),有设为看起来自然的图像(Natural)、设为鲜艳的图像(Vivid)、设为平和的图像(Flat)、艺术过滤等特殊效果的设定(参照图8)。并且有JPEG记录、JPEG+RAW记录、RAW记录等静态图像记录模式,有Motion-JPEG、H.264等动态图像记录模式的设定。在进行了照相机设定后,返回到步骤S3。
在步骤S9中的判定结果是没有按下菜单按钮的情况下,接着进行是否半按下了释放按钮、换言之第一释放开关是否从断开变为接通的判定(S21)。通过操作部123检测与释放按钮联动的第一释放开关的状态,并根据该检测结果进行该判定。在检测结果是第一释放开关从断开转变为了接通的情况下,判定结果为是,另一方面,在维持接通状态或者断开状态的情况下,判定结果为否。
在步骤S21中的判定结果是半按下释放按钮、从断开转变为了第一释放开关接通的情况下,执行AE/AF动作(S23)。此处,AE处理部111根据由摄像元件103取得的图像数据检测被摄体亮度,并根据该被摄体亮度,计算成为适当曝光的快门速度、光圈值等。
此外,驱动器205经由更换式镜头200内的微型计算机207使摄影镜头201的焦点位置移动,使得通过AF处理部113取得的对焦评价值成为峰值。因此,在没有进行动态图像摄影的情况下半按下释放按钮时,在该时刻进行摄影镜头201的对焦。
在步骤S21中的判定结果为释放按钮没有从断开转变为第一释放开关接通的情况下,接着进行是否全按下释放按钮从而第二释放开关接通的判定(S27)。在该步骤中,通过操作部123检测与释放按钮联动的第二释放开关的状态,并根据该检测结果进行判定。
在步骤S27中的判定结果是全按下释放按钮、从而第二释放开关变为了接通的情况下,进行利用机械快门的静态图像摄影(S29)。此处,用在步骤S23中运算出的光圈值控制光圈203,并且用运算出的快门速度控制机械快门101的快门速度。并且,当经过与快门速度对应的曝光时间时,从摄像元件103读出图像信号,并将通过模拟处理部105和A/D变换部107处理后的图像数据输出到总线110。
在进行了利用机械快门的摄影后,接着进行是否为3D摄影模式的判定(S31)。如上述那样在菜单画面中设定了3D摄影模式,因此根据摄影模式的设定状态进行判定。
在步骤S31中的判定结果不是3D摄影模式的情况下,接着进行图像处理(S33),进行静态图像记录(S35)。在设定了3D摄影模式的情况下,需要在第2位置处进行第2张的摄影后进行图像处理和静态图像记录。另一方面,在未设定3D摄影模式时,不需要第2张的摄影,因此立即进行图像处理和静态图像的记录。之后将使用图4对步骤S33中的图像处理的详细动作进行叙述。
在步骤S27中的判定结果是未全按下释放按钮的情况下,接着判定是否为3D摄影的第2张(S41、参照图3)。此处,设定了3D摄影模式,判定在上述步骤S29中是否在第1位置处结束了第1张的摄影。
在步骤S41中的判定结果是3D摄影的第2张的情况下,接着进行利用电子快门的摄影(S43)。3D摄影的第2张的正式摄影在后述的步骤S53中进行,而在之前关于是否达到了拍摄第2张的第2位置,对图像进行分析并测量照相机的移动量。因此,在步骤S43中,为了取得移动量分析用的图像而使用摄像元件103的电子快门进行图像数据的取得。另外,在该摄影时,依照在步骤23中确定的曝光条件进行摄影。
在进行利用电子快门的摄影后,接着进行图像处理(S45)。此处,对所取得的图像数据实施与步骤S33同样的图像处理。之后将使用图4对步骤S45中的图像处理的详细动作进行叙述。但是,在图4的流程中,步骤S85~S89用于特殊图像处理,因此省略。
在进行图像处理后,接着进行实时取景显示(S47)。在本实施方式中,当设定了3D摄影模式,并在第1位置进行了第1张的摄影时,摄影者将照相机移动到第2位置,当达到第2位置时,在该位置进行第2张的摄影。因此,为了容易地移动到第2位置,在第1张的摄影后也进行实时取景显示。作为实时取景显示,根据由摄像元件103取得的图像数据,在LCD135上以动态图像形式显示被摄体像。
在进行实时取景显示后,接着进行特征量的计算(S49)。此处,从在步骤S29中取得的第1张摄影图像、和在步骤S43中取得的实时取景用图像中检测边缘成分和颜色成分等特征量,并计算照相机的移动量。可以根据此处计算出的照相机的移动量,与实时取景显示重叠地显示第2张的摄影位置(第2位置)。对于摄影者而言比较方便。
在进行特征量的计算后,接着进行第2张摄影的判定(S51)。此处,根据计算出的照相机的移动量,判定照相机是否移动了与左右视差相当的量。在该判定结果是没有移动到第2张的摄影位置的情况下,进入步骤S25,并进入S3→S7→S21→S27→S41→S43,再次进行摄影来计算特征量,并进行第2张摄影的判定。
在步骤S51中的判定结果是达到了第2张摄影的位置时,接着进行利用机械快门的第2张的摄影(S53)。第2张的摄影时的曝光条件优选与步骤S29中的第1张的摄影时为相同条件。这是为了防止明亮度不同而造成的违和感。
在进行利用机械快门的第2张的摄影后,接着进行图像处理/3D生成(S55)。此处,进行施加了特殊效果(艺术过滤)的3D图像的生成。具体将使用图6所示的流程图进行说明,但在进行与特殊效果对应的伽马变换(灰度变换)和色度等的基本图像处理后,生成3D图像数据,进一步根据特殊效果,对所生成的3D图像实施必要的图像处理,从而生成最终的3D图像数据。
在进行图像处理/3D生成后,接着进行3D图像记录(S57)。此处,在图像压缩解压缩部117中对在步骤S55中生成的左右立体图像进行JPEG压缩来生成MPO(Multi-Picture Object:多图像对象)文件,并将该所生成的文件记录到记录介质131。此时,将能够确定在生成3D图像时进行了怎样的处理的数据记录到主图像或副图像的头部。由此,能够从图像数据中读取特殊处理。另外,可以在预定时间的期间内,在LCD 135上显示所生成的3D图像。
在步骤S41中的判定结果不是3D摄影的第2张的情况下,接着进行AE(S61)。从上述步骤S21起经过S27、S41,并对步骤S61进行处理的情况是没有对释放按钮进行任何操作的情况,该情况下,在后述的步骤S67中进行实时取景显示。在步骤S61中,执行用于进行实时取景显示的曝光控制。即,计算用于以适当曝光进行实时取景显示的摄像元件103的电子快门的快门速度和ISO感光度。
在进行AE后,接着进行利用电子快门的摄影(S63)。此处,使用摄像元件103的电子快门取得图像数据。然后,对所取得的图像数据进行图像处理(S65)。此处的图像处理用于实时取景显示,并且在设定了特殊效果的情况下,还进行与所设定的特殊效果对应的图像处理。之后将使用图4对该图像处理的详细动作进行叙述。
在进行图像处理后,在LCD 135上进行实时取景显示(S67)。在步骤S63中取得图像数据、并在步骤S65中进行了图像处理,因此在该步骤中,进行实时取景显示的更新。摄影者能够通过观察该实时取景显示,决定构图和快门时机。
在步骤S67中进行了实时取景显示后、或者在步骤S51中的判定结果不是第2张摄影的情况下、或者在步骤S57中进行3D图像记录后、或者在步骤S31中的判定结果是3D摄影模式的情况下、或者在步骤S35中进行静态图像记录后、或者在步骤S23中进行AE/AF后,进行电源是否断开的判定(S25)。在该步骤中,判定是否再次按下了操作部123的电源按钮。在该判定结果为电源未断开的情况下,返回步骤S3。另一方面,在判定结果是电源断开的情况下,在进行主流程的结束动作后,结束主流程。
这样,在本发明的第1实施方式的主流程中,在设定了3D摄影模式的情况下全按下释放按钮时,在第1位置处进行第1张的摄影(参照S29),在摄影者移动照相机并到达第2位置时,进行第2张的摄影(参照S53)。在与3D摄影模式一并设定了特殊效果(艺术过滤)的情况下,在第2张的摄影结束后进行图像处理/3D生成(参照S55),生成施加了特殊效果的3D图像并进行记录。
接着,使用图4所示的流程图说明步骤S33、S45、S65中的图像处理。当进入到图像处理的流程时,首先进行光学黑(OB)运算(S71)。在该步骤中,通过基本图像处理部109a内的OB运算部,分别从构成图像数据的各像素的像素值中,减去由于摄像元件103的暗电流等而产生的光学黑值。
在进行了OB运算后,接着进行白平衡(WB)校正(S73)。在该步骤中,由基本图像处理部109a内的WB校正部根据所设定的白平衡模式,对图像数据进行WB校正。具体而言,通过从照相机主体的闪存125读出与用户设定的白平衡模式对应的R增益和B增益,并对拜尔排列的图像数据乘以该值,从而进行校正。或者在自动白平衡的情况下,根据RAW数据计算R增益和B增益,使用这些增益进行校正。
接着进行同时化处理(S75)。在该步骤中,由基本图像处理部109a内的同时化处理部将进行了白平衡校正的图像数据,变换为各像素由RGB数据构成的数据。具体而言,从周边通过插值求出不处于该像素中的数据,并变换为RGB数据。
在进行同时化处理后,接着进行颜色矩阵运算(S77)。在该步骤中,由基本图像处理部109a内的颜色矩阵运算部进行对图像数据乘以与设定的白平衡模式对应的颜色矩阵系数的线性变换来校正图像数据的颜色。颜色矩阵系数被存储在闪存125中,因此读出并使用。
在进行颜色矩阵运算后,接着进行伽马变换和颜色校正(S79)。在该步骤中,由基本图像处理部109a内的伽马处理部读出闪存125所存储的伽马表,并对图像数据进行伽马校正处理。伽马表将根据完成效果的设定而设计的值存储到闪存125中。
如上所述,能够在菜单画面中进行特殊效果(艺术过滤)的设定。图8示出对于所设定的艺术过滤的效果概要、色度参数、伽马处理和特殊效果。此外,图9示出根据所设定的特殊效果而应用的伽马表。此处,图9(a)是示出应用到RGB数据的情况的图,例如示出了流行艺术处理的情况及其他处理的情况下的伽马值的一例。此外,图9(b)是示出应用到Y数据的情况的图,例如示出了图8所示的进行对比度强调的情况、使中间亮度更明亮的情况以及其他标准的情况下的伽马值的一例。在步骤S79中进行的伽马校正处理使用根据所设定的特殊效果(艺术过滤)而确定的伽马值来进行,并且在未设定特殊效果的情况下使用标准的伽马值来进行。即,对应于根据完成效果的设定而设计的值进行伽马校正处理。
此外,在步骤S79中,由基本图像处理部109a内的颜色再现处理部对图像数据进行色度和色调的校正处理。在该校正处理时,使用根据完成效果的设定而预先设计的色度参数进行处理。即,依照根据所设定的特殊效果(艺术过滤)而确定的图8所示的色度参数,进行色度和色调的校正处理。在该处理中从RGB变换为YCbCr。
在进行伽马变换和颜色校正后,接着进行边缘强调(S81)。在该步骤中,基本图像处理部109a内的边缘强调处理部通过带通滤波器对进行了伽马变换和颜色校正的图像数据提取边缘成分,根据边缘强调度乘以系数并与图像数据相加,由此强调图像数据的边缘。
接着进行NR(噪声去除)(S83)。在该步骤中,进行对图像进行频率分析、并根据频率而减少噪声的处理。
在进行NR处理后,接着判定是否进行特殊图像处理(S85)。如上所述,在菜单画面中进行了特殊效果(艺术过滤)的设定,因此在该步骤中根据菜单画面中的设定进行判定。
在步骤S85中的判定结果是进行了特殊图像处理的情况下,接着进行是否设定了3D摄影模式的判定(S87)。3D摄影模式也在菜单画面中进行设定,因此在该步骤中,根据菜单画面中的设定进行判定。
在步骤S87中的判定结果是未设定3D摄影模式的情况下,进行特殊图像处理(S89)。特殊图像处理内的与伽马变换以及颜色校正相关的处理在步骤S79中进行,还进行除此以外的十字滤光镜处理、软对焦处理等,根据所设定的特殊效果(艺术过滤)进行必要的特殊图像处理。如果是实时取景显示过程中,则对实施了与所设定的特殊效果对应的特殊图像处理的图像进行实时取景显示,如果是通常的静态图像摄影,则记录实施了特殊图像处理的图像。之后将使用图5对特殊图像处理的详细动作进行叙述。另外,在设定了特殊图像处理和3D摄影模式两方的情况下,在进行第2张的摄影后进行图像处理(S55、参照图6)。
在步骤S89中进行特殊图像处理后、或者在步骤S85中的判定结果不是特殊图像处理的情况下、或者在步骤S87中的判定结果是3D摄影模式的情况下,返回到原来的流程。
这样,在本实施方式的图像处理的流程中,执行OB减法运算等各种与特殊图像处理不相关的共同的图像处理,并且在伽马变换和颜色校正时,由基本图像处理部109a进行与所设定的特殊效果对应的校正处理。并且仅在未设定3D摄影模式的情况下,由特殊图像处理部109b一并进行特殊图像处理。
接着,使用图5所示的流程图说明步骤S89(参照图4)中的特殊图像处理。在进入特殊图像处理的流程后,首先进行是否进行十字滤光镜的判定(S101)。当设定了艺术过滤时,如图8的最右栏所示那样确定要执行的特殊效果。因此,在该步骤中,判定在菜单画面中设定的艺术过滤是否需要十字滤光镜处理。即,在本实施方式中,如图8所示,在设定了神奇对焦+星光、流行艺术+星光作为艺术过滤的情况下,判定为进行十字滤光镜的处理。
在步骤S101中的判定结果是十字滤光镜的情况下,接着进行十字滤光镜处理(S103)。此处,特殊图像处理部109b对图像数据实施十字滤光镜处理。十字滤光镜处理是从图像中检测高亮度部、并在该部分描绘并重叠十字图案的处理。
在进行十字滤光镜处理后、或者在步骤S101中的判定结果是不进行十字滤光镜的情况下,接着判定是否进行软对焦(S105)。此处,判定在菜单画面中设定的艺术过滤是否需要软对焦处理。在本实施方式中,如图8所示,在设定了神奇对焦、神奇对焦+星光、神奇对焦+白边缘的情况下,判定为进行软对焦的处理。
在步骤S105中的判定结果是软对焦的情况下,接着进行软对焦处理(S107)。此处,特殊图像处理部109b对图像数据实施软对焦处理。软对焦处理是对图像整体进行晕映处理,并以一定比例(例如原图像:晕映图像=3:2)与晕映前的图像进行合成的处理。
在进行软对焦处理后、或者在步骤S105中的判定结果不是软对焦的情况下,接着判定是否进行噪声附加(S109)。此处,判定在菜单画面中设定的艺术过滤是否需要噪声附加处理。在本实施方式中,如图8所示,在设定了粗粒黑白的情况下,判定为进行噪声附加处理。
在步骤S109中的判定结果是噪声附加的情况下,接着进行噪声附加处理(S111)。此处,特殊图像处理部109b对图像数据实施噪声附加处理。噪声附加处理是将预先生成的噪声图案图像与被摄体图像相加的处理。噪声图案图像可以根据随机数等生成。
在进行噪声附加处理后、或者在步骤S109中的判定结果是不进行噪声附加的情况下,接着判定是否进行阴影处理(S113)。此处,判定在菜单画面中设定的艺术过滤是否需要阴影处理。在本实施方式中,如图8所示,在设定了流行艺术+针孔的情况下,判定为进行阴影处理。
在步骤S113中的判定结果是阴影的情况下,接着进行阴影处理(S115)。此处,特殊图像处理部109b对图像数据实施阴影处理。阴影处理是对应于离中心的距离,越到周边,对亮度信号乘以越小的系数,使得周边的亮度变暗的处理。
在进行阴影处理后、或者在步骤113中的判定结果是不进行阴影处理的情况下,接着判定是否提升周边亮度(S117)。此处,判定在菜单画面中设定的艺术过滤是否需要周边亮度提升处理。在本实施方式中,如图8所示,在设定了神奇对焦+白边缘、流行艺术+白边缘的情况下,判定为进行周边亮度提升处理。
在步骤S117中的判定结果是周边亮度提升的情况下,接着进行周边亮度提升处理(S119)。此处,特殊图像处理部109b对图像数据实施周边亮度提升处理。周边亮度提升处理是使周边亮度变亮的处理,是对应于离中心的距离,以越到周边部越成为白信息(例如,如果是RGB(8位)则为255、255、255,并且如果是YCbCr(8位)则为255、0、0)的方式变更像素值,使得周边部变白的处理。
在进行周边亮度提升处理后、或者在步骤S117中的判定结果不是周边亮度提升处理的情况下,接着判定是否进行周边晕映(S121)。此处,判定在菜单画面中设定的艺术过滤是否需要周边晕映处理。在本实施方式中,如图8所示,在设定了透视画的情况下,判定为进行周边晕映处理。
在步骤S121中的判定结果是周边晕映的情况下,接着进行周边晕映处理(S123)。此处,特殊图像处理部109b对图像数据实施周边晕映处理。在周边晕映处理中,对应于离中心的距离,一边根据图像位置变更低通系数一边进行低通滤波处理,使得越是周边部,模糊程度越大。该情况下,可以仅上下晕映、仅左右晕映。
在进行周边晕映处理后、或者在步骤S121中的判定结果不是周边晕映的情况下,结束特殊图像处理,返回到原来的流程。
这样,在特殊图像处理的流程中,根据所设定的艺术过滤(特殊效果)实施必要的各种特殊图像处理。作为此处的特殊图像处理,有如软对焦等那样,基于与图像数据的预定位置对应的图像数据位置进行的特殊图像处理。还有如阴影处理或周边亮度提升等那样,将实施了根据图像数据的坐标位置而不同的图像处理后的图像数据,或者如十字滤光镜或粗粒黑白处理等那样,将实施了与相邻的像素不同的处理后的图像数据进行合成的特殊图像处理。
接着,使用图6所示的流程图说明步骤S55(图3)中的图像处理/3D生成。如上所述,在菜单画面中设定了3D摄影模式和特殊效果的情况下,在通过机械快门结束第2张的摄影后执行该流程。
在进入图像处理/3D生成的流程后,首先通过图像处理部109进行图像处理(S131)。在步骤S29和S53中,分别通过机械快门进行摄影,取得了2张RAW图像数据,因此在该步骤中,针对各个RAW图像数据执行图像处理的流程。该图像处理的流程是图4所示的图像处理流程中的步骤S71~S83,步骤S85以下的步骤在此处省略,不执行。
在执行步骤S131中的图像处理流程时,在菜单画面中设定了特殊效果(艺术过滤)的情况下,使用与特殊效果对应的图像处理参数进行图像处理(参照步骤S79(参照图4)中的伽马变换和颜色校正)。因此,亮度和色差成分均不会由于灰度的急剧变化而产生伪轮廓,不会产生画质劣化。
在进行图像处理后,接着进行3D用切出位置的确定和校正处理的确定(S133)。此处,3D图像生成部115为了由进行了图像处理的2张图像数据来生成3D图像,确定切出位置、并确定图像的校正处理。即,检测图像的特征量(例如边缘成分、颜色成分、亮度成分等),确定用于利用2张图像生成可立体视的图像的切出位置。并且确定对摄影视场角的微小变化和旋转等进行校正的处理。
接着,进行3D图像的生成(S135)。此处,3D图像生成部115使用在步骤S131中进行了图像处理、在步骤S133中确定了切出位置并确定了校正处理的2张图像数据,生成3D图像。在菜单画面中设定了特殊效果(艺术过滤)的情况下,以处理成与设定对应的颜色和对比度(伽马)的图像来生成3D图像。
在进行3D图像的生成后,接着判定是否进行特殊图像处理(S137)。在设定了特殊效果(艺术过滤)的情况下,关于与设定对应的色度和伽马处理,在步骤S131中进行图像处理。但是,不进行如下等特殊图像处理:在摄影时使用光学滤镜或镜头光学地形成的效果即十字滤光镜处理、软对焦处理、噪声附加处理、阴影处理、周边亮度提升处理、周边晕映处理、再现胶卷独特的粒状感那样的噪声附加处理、在显影洗印步骤中进行的那样的软对焦处理。因此,在该步骤中,判定是否需要这些特殊图像处理。另外,即使在设定了特殊效果(艺术过滤)时,在流行艺术、自然(未图示)、鲜艳(未图示)的情况下,也仅变更色度和伽马处理,因此不需要进一步的特殊图像处理。
在步骤S137中的判定结果是需要特殊图像处理的情况下,执行特殊图像处理(S139)。此处,特殊图像处理部109b依照图5所示的特殊图像处理的流程进行图像处理。另外,关于特殊图像处理内的阴影处理、周边亮度提升和周边晕映,根据离图像处理的中心点的距离而变化。之后将使用图10对3D图像时的图像处理的中心点进行叙述。
在进行特殊图像处理后、或者在步骤S137中的判定结果是不需要特殊图像处理的情况下,结束图像处理/3D生成的流程,返回到原来的流程。
图10示出在设定了3D摄影模式的情况下在第1位置处拍摄的左眼用图像401、和在第2位置处拍摄的右眼用图像403,拍摄了人物411和山413作为被摄体。山413处于远方,因此在左眼用图像401和右眼用图像403中被拍摄在大致相同的位置,但人物411位于近距离处,因此在两图像中被拍摄在不同的位置。即,在图10所示的例子中,在左眼用图像401中,人物411位于从中心朝右侧隔开距离a的位置,并且在右眼用图像403中人物411位于从中心朝左侧隔开距离b的位置,人物411的位置不同。对于3D图像处理的中心点,选择在生成3D图像时不产生违和感的主被摄体的位置。例如,可以选择近距离侧的被摄体、通过面部检测部检测到的面部位置或宠物的位置等。
为了确定左右图像各自的图像处理中心,首先,将任意一方确定为基准图像。在当前将左眼用图像401确定为基准图像时,与左眼用图像401的图像处理中心点421a对应的右眼用图像403上的位置成为图像处理中心点421b。因此,图像处理中心点421a和421b分别与同一被摄体的同一位置对应。其中,该位置不论偏离多少只要处于在图像处理为3D图像后没有违和感的范围内即可。
由此,在本实施方式中,将作为基准的图像的预定位置确定为图像中心点,在另一方的图像中将与其对应的位置也确定为图像中心点。以该图像中心点421a、421b为中心施加阴影处理等对应于离中心位置的距离而变化的特殊效果。因此,成为相对于右眼图像和左眼图像没有违和感的图像。
接着,使用图7对在本实施方式中设定了3D摄影模式时的图像数据流与处理之间的关系进行说明。在设定了3D摄影模式时,在第1位置处取得左眼用的RAW数据(#201L、图2的S29)。该左眼用的RAW数据进行伽马和色度等的基本图像处理(203L、图6的S131),从而得到与完成效果对应的左眼用的图像(#205L)。另一方面,在第2位置处取得右眼用的RAW数据(#201R、图3的S53),进行伽马和色度等的基本图像处理(203R、图6的S131),从而得到与完成效果对应的右眼用的图像(#205R)。
在取得左眼用和右眼用的与完成效果对应的图像后,进行3D用切出位置和校正处理的确定(#211、图6的S133),生成3D图像(#221、图6的S135),并分别对右眼用和左眼用的图像进行特殊图像处理(#223、图6的S139),生成3D艺术图像(#225)。
由此,在第1实施方式中,对RAW数据实施伽马处理(灰度处理)和色度处理(颜色校正处理)(#203L、#203R),使用该图像处理后的图像数据进行用于生成3D图像的切出位置确定、或者图像旋转和梯形校正等基于几何学变换的校正处理来生成3D图像(#211、#221)。对进行了用于该3D图像的图像处理后的图像数据、进行了与光学形成的图像相似的用于3D图像的图像处理后的图像数据,实施与在胶片和显影洗印步骤中形成的图像相似的特殊效果的处理(#223)。因此,能够生成3D图像和艺术(特殊效果)图像均可高品质地再现的3D艺术图像。
另外,在本实施方式中,在基本图像处理(#203L、#203R、S131)中,进行了伽马处理(灰度处理)和色度处理(颜色校正处理)两方,但此处可以仅进行灰度处理。此外,在生成左眼用和右眼用的与完成效果对应的图像后,确定3D用切出位置和校正处理(#211、S133),但也可以是仅任意一方。
接着,使用图11和图12说明本发明的第2实施方式。在第1实施方式中,在利用在第1和第2位置处拍摄的2张RAW数据进行图像处理/3D生成时的步骤S131的图像处理中,进行与所设定的特殊效果(艺术过滤)对应的伽马处理和色度处理,并使用该处理后的图像数据进行了3D图像的生成。与此相对,在第2实施方式中,在根据在第1和第2位置处拍摄的2张RAW数据进行图像处理/3D生成时,完成效果图像进行与自然(Natural)对应的伽马处理和色度处理,并使用该图像确定3D图像的切出位置和校正处理。并且另外,对于对RAW数据进行了与完成效果图像对应的伽马处理和色度处理后的图像,进行3D图像的切出和校正处理来生成3D图像,应用特殊效果。
第2实施方式中的结构与图1所示的第1实施方式相同,并且动作也与图2至图5所示的流程相同,仅将图6所示的图像处理/3D生成的流程变更为图11所示的流程。因此,说明图11所示的图像处理/3D生成的流程。另外,对进行与图6相同的处理的步骤,赋予相同的步骤编号并省略详细说明。另外,微型计算机121依照存储在闪存125中的程序执行图11所示的流程图。
在进入图11的图像处理/3D生成的流程后,首先进行图像处理(S132)。此处,基本图像处理部109a对在步骤S29和S53中取得的2张RAW数据分别执行图4所示的图像处理流程内的步骤S71~S83。在该流程中的步骤S79的伽马变换/颜色校正中,将完成效果图像设定为“自然”来进行图像处理。另外,只要是接近标准的完成效果的特殊效果,则也可以是“自然”以外的处理。
在步骤S132中执行图像处理后,接着确定3D用切出位置和校正处理(S133)。此处,与第1实施方式的情况同样,3D图像生成部115使用在步骤S132中进行图像处理后的2张图像,检测图像的特征量(例如边缘成分、颜色成分、亮度成分),对用于利用2张图像生成可立体视的图像的切出位置的确定、和校正摄影视场角的微小变化和旋转等的处理进行确定。
接着执行图像处理(S134)。此处,不是对在步骤S132中进行处理后的图像,而是对在步骤S29和S53中取得的2张RAW数据分别执行图4所示的图像处理流程内的步骤S71~S83。在该流程的步骤S79的伽马变换/颜色校正中,设定与在菜单画面中设定的完成效果图像对应的伽马和色度等的参数来进行图像处理。
在步骤S134中进行图像处理后,进行3D图像生成(S136)。此处,根据在步骤S133中确定的3D用切出位置和校正处理,使用在步骤S134中进行图像处理后的左右2张图像来生成3D图像。
在生成3D图像后,接着与第1实施方式同样,判定是否需要特殊图像处理(S137),如果该判定结果是需要特殊图像处理,则进行特殊图像处理(S139),并返回到原来的流程。
使用图12对本实施方式中的图像数据流与图像处理之间的关系进行说明。在设定了3D摄影模式时,在第1位置处取得左眼用的RAW数据(#201L、图2的S29)。该左眼用的RAW数据被设定了伽马和色度等的参数并被进行图像处理以作为完成效果而变得自然(#204L、图11的S132),从而得到与自然设定的完成效果对应的左眼用的图像(#207L)。另一方面,在第2位置处取得右眼用的RAW数据(#201R、图3的S53),该右眼用的RAW数据被设定了伽马和色度等的参数并被进行图像处理以作为完成效果而变得自然(#204R、图11的S132),从而得到与自然设定的完成效果对应的右眼用的图像(#207R)。
在取得左眼用和右眼用的与自然设定的完成效果对应的图像后,进行3D用切出位置和校正处理的确定(#211、图11的S133)。另一方面,使用左眼用的RAW数据进行图像处理,以成为与所设定的特殊效果(艺术过滤)对应的完成效果(#213L、图11的S134),从而得到与完成效果对应的左眼用的图像(#215L)。还使用右眼用的RAW数据进行图像处理,以成为与所设定的特殊效果(艺术过滤)对应的完成效果(#213R、图11的S134),从而得到与完成效果对应的右眼用的图像(#215R)。
对于与完成效果对应的左右用的图像(#215L、#215R),使用所确定的3D切出位置和校正处理(#211)生成3D图像(#221、图11的S136)。对此处生成的右眼用和左眼用的3D图像分别进行特殊图像处理(#223、S139),生成3D艺术图像(#225)。
由此,在第2实施方式中,针对RAW数据,伽马校正(灰度处理)和色度校正(颜色校正处理)使用自然的参数进行处理(#204L、#204R),使用该图像处理后的图像数据进行用于生成3D图像的切出位置确定、或者几何学变换等的校正处理。并且与#204L、#204R中的图像处理不同,使用左眼用和右眼用的RAW数据,使用与所设定的特殊效果(艺术过滤)对应的伽马校正(灰度处理)和色度校正(颜色校正处理)的参数进行图像处理(#213L、#213R),从而得到与完成效果对应的图像(#215L、#215R)。在3D图像的生成时,依照在#211中确定的3D切出位置和校正处理,利用在#215L、#215R中取得的图像生成了3D图像。在本实施方式中,关于用于3D图像生成的切出位置和校正处理,根据自然处理后的图像来进行确定,因此能够正确地确定切出位置和校正处理,能够生成可一并高品质地再现3D图像和艺术(特殊效果)图像的3D艺术图像。
此外,在第2实施方式中,闪存125作为图像处理参数存储部发挥功能,其对确定作为灰度变换部发挥功能的基本图像处理部109a中的图像处理内容的伽马表(第1图像处理参数)、和与第1图像处理参数不同的特殊效果用的第2图像处理参数进行存储,该第2图像处理参数用于根据特殊效果来确定作为灰度变换部发挥功能的基本图像处理部109a中的图像处理内容。此处,第1图像处理参数是自然等有自然感的图像处理,第2图像处理参数是与在菜单画面中设定的特殊效果(艺术过滤)对应的图像处理参数。在特殊效果(艺术过滤)中,与自然的参数相比,使用强调对比度或使得对比度反差弱那样的图像处理参数、或者暗部(黑)浮出的伽马和饱和部(白)不会变为最大值那样的图像处理参数等。并且,以“自然”基准预先进行3D处理,之后,在艺术过滤中,使用与通常(Natural)差异较大的伽马来施加特殊效果。并且,在第2实施方式中,确定由3D图像生成部115(立体图像数据处理部)使用由灰度处理部利用第1图像处理参数进行图像处理后的图像进行的处理内容,灰度变换部使用第2图像处理参数进行基于特殊效果的图像处理,由3D图像生成部115(立体图像数据处理部)对进行了基于特殊效果的图像处理后的图像生成立体图像。
另外,在本实施方式中,在基本图像处理(#213L、#213R、图11的S134)中,也进行了伽马校正(灰度处理)和色度校正(颜色校正处理)两方,但此处可以仅进行灰度处理。此外,在生成左眼用和右眼用的与完成效果对应的图像后,确定3D用切出位置和校正处理(#211、S133),但也可以仅是任意一方。
接着,使用图13至图16说明本发明的第3实施方式。在第1和第2实施方式中,摄影镜头201仅一个,为了得到有视差的图像,在第1位置处进行拍摄后使照相机移动到第2位置进行拍摄。与此相对,在第3实施方式中,不同之处在于具有两个摄影镜头、同时取得具有视差的2张图像的方面。
第3实施方式中的结构仅在图1所示的框图中,将摄影镜头201置换为两个摄影镜头201a、201b,将光圈203置换为两个光圈203a、203b,并且将摄像元件103置换为摄像元件104。因此,仅说明不同点,对相同部件标注相同标号并省略详细说明。
右眼用摄影镜头201a和左眼用摄影镜头201b配置在同一平面上(在图13中绘图上描绘成错开的位置),配置成能够同时分别拍摄右眼用和左眼用的被摄体光束。在右眼用摄影镜头201a的光轴上配置右眼用光圈203a,并且在左眼摄影镜头201b的光轴上配置左眼用光圈203b,分别控制通过的被摄体光束的光量。
在右眼用摄影镜头201a和左眼用摄影镜头201b的光轴上配置有摄像元件104。在该摄像元件104上、即1个摄像元件上成像左眼用图像和右眼用图像。
此外,在操作部123内,配置有用于开始以及结束动态图像的摄影的动态图像按钮。在初始状态下为动态图像未摄影状态,因此在该状态下按下动态图像按钮时开始动态图像的摄影,在动态图像摄影中按下动态图像按钮时结束动态图像的摄影。因此,每当按下动态图像按钮时,交替重复动态图像的摄影开始和结束。
另外,在第3实施方式中,分别独立设置了摄影镜头201a、201b,但也可以仅设置1个镜头,通过摄像元件和遮光部件的灵活运用,对左用和右用的被摄体光束进行分离。此外,摄影镜头可以不是更换式而采用固定式。此外,用1个摄像元件104接收左用和右用的图像的光,但也可以配置两个摄像元件,分别取得图像信号。
接着,使用图14至图16所示的流程图说明第3实施方式的动作。这些流程图与第1和第2实施方式同样,由微型计算机121依照存储在闪存125中的程序执行。
图14和图15是本实施方式中的主流程。在该主流程中,对与第1实施方式中的图2和图3所示的流程相同的处理步骤,赋予相同的步骤编号并省略详细说明。与第1实施方式相比,在本实施方式中以下方面不同:在全按下释放按钮从而第二释放开关接通时,同时取得2张图像(S27、S30),在设定了3D摄影模式的情况下,在摄影结束后立即进行图像处理/3D生成(S31、S37)。此外,在操作了动态图像按钮时进行动态图像的记录(S11~S17),在设定了3D摄影模式的情况下,在动态图像摄影中施加3D图像和特殊效果并进行动态图像记录(S65~S69)。
在主流程开始后,进行初始化(S1)。此处,进行机械方式的初始化和标记的初始化等电气方式的初始化。此处,作为各种标记等的初始化进行记录中标记的初始化。该记录中标记是表示是否在动态图像的记录中的标记,在打开的情况下表示正在记录动态图像中,在关闭的情况下表示没有在进行动态图像的记录。
在进行初始化后,接着进行是否按下了再现按钮的判定(S3),在按下的情况下,进行再现处理(S5),并返回到步骤S3。在再现处理时,从一览表中选择的图像是动态图像的情况下,按照时间序列从起始帧起依次进行动态图像再现。并且在选择的图像是静态图像的情况下,显示所确定的静态图像。
在步骤S3中的判定结果是没有按下再现按钮的情况下,判定是否按下了菜单按钮(S7)。在该判定结果是按下了菜单按钮的情况下,进行照相机设定(S9),并返回到步骤S3。在照相机设定中,与第1实施方式同样,能够进行各种设定,3D摄影模式和特殊效果(艺术过滤)也在这里设定。
在步骤S7中的判定结果是没有按下菜单按钮的情况下,接着判定是否按下了动态图像按钮(S11)。在该步骤中,在操作部123中,检测动态图像按钮的操作状态,并根据该检测结果进行判定。
在步骤S11中的判定结果是按下了动态图像按钮的情况下,接着进行记录中标记的反转(S13)。如上所述,每当按下动态图像按钮时,交替重复进行动态图像摄影的开始和结束,因此在该步骤中,在记录中标记关闭的情况下将记录中标记反转为打开,并且在打开的情况下反转为关闭。
在步骤S13中进行了记录中标记的反转后,接着判定是否在动态图像的记录中(S15)。记录中标记表示动态图像的记录状态,因此在该步骤中,进行记录中标记是否打开的判定。在该判定结果是动态图像记录中的情况下,进行动态图像文件的生成(S17)。此处,生成MPEG等的动态图像文件。另外,动态图像文件的记录在后述的步骤S69中进行。
在步骤S17中进行了动态图像文件的生成后、或者在步骤S15中的判定结果不是动态图像记录中的情况下,或者在步骤S11中的判定结果是没有按下动态图像按钮的情况下,接着与步骤S15同样地判定是否在动态图像记录中(S19)。
在步骤S19中的判定结果是不在动态图像记录中的情况下,接着与第1实施方式同样,判定是否半按下了释放按钮、从而第一释放开关从断开转变为接通(S21)。该判定结果是释放按钮的第一释放开关从断开转变为了接通的情况下,执行AE动作和AF动作(S23)。此处,进行光圈和快门速度等曝光控制值的运算和摄影镜头201a、201b的对焦。因此,在不是动态图像记录中的情况下、即是静态图像摄影模式时,如果半按下了释放按钮,则在该时刻进行曝光控制值的运算和摄影镜头201的对焦。
在步骤S21中的判定结果为释放按钮的第一释放开关没有从断开转变为接通的情况下,接着与第1实施方式同样,进行是否全按下了释放按钮从而第二释放开关接通的判定(S27)。在该判定结果是进行了第二释放开关接通的情况下,进行利用机械快门的摄影(S30)。在第1实施方式中,即使在设定了3D摄影模式的情况下也仅能够取得1张图像,但在本实施方式中,能够同时从摄像元件104取得右眼用的图像和左眼用的图像这2张图像。另外,在未设定3D摄影模式的情况下,取得1张图像。
在进行了利用机械快门的摄影后,接着与第1实施方式同样,判定是否为3D摄影模式(S31),如果该判定结果不是3D摄影模式,则对步骤S30中取得的1张图像进行图像处理(S33),并进行静态图像记录(S35)。
在步骤S31中的判定结果是3D摄影模式的情况下,进行图像处理/3D生成(S37)。如上所述,在步骤S30中取得具有视差的2张图像,因此在该步骤中,对2张图像进行图像处理,生成3D图像。之后将使用图16对该图像处理/3D生成的详细动作进行叙述。在生成了3D图像后,在记录介质131中进行3D图像的记录(S39)。
在步骤S27中的判定结果是第二释放开关未接通的情况下、或者在步骤S19中的判定结果是动态图像记录中的情况下,接着与第1实施方式同样进行AE动作(S61)。执行该步骤S61以下步骤的情况是在静态图像摄影模式中没有对释放按钮进行任何操作而仅进行实时取景显示的情况、或者是动态图像记录中的情况。
在步骤S61中进行了AE动作后,接着与第1实施方式同样进行利用电子快门的摄影(S63),并进行图像处理(S65)。此处,为了实时取景显示或动态图像摄影而进行AE动作来得到适当曝光,并且进行图像处理。在该图像处理中,执行图4所示的流程,因此进行基本图像处理,并且如果未设定3D摄影模式,则还执行特殊效果(艺术过滤)的图像处理。
在进行了图像处理后,与第1实施方式同样,进行实时取景显示(S67)。使用在步骤S65中进行了图像处理后的图像数据,在LCD 135上进行实时取景显示。摄影者通过观察实时取景显示决定构图,并且如果是静态图像摄影中则能够确定快门时机,如果是动态图像摄影中则能够确定摄影结束的时机。
在进行了实时取景显示后,接着与步骤S15、S19同样,判定是否在动态图像记录中(S68)。根据记录中标记来判定是否在动态图像记录中。在该判定结果是动态图像记录中的情况下,进行动态图像记录(S69)。此处,由图像压缩解压缩部117对在步骤S65中进行了图像处理后的图像数据进行压缩,并记录到记录介质131中。
在步骤S69中进行了动态图像记录后、或者在步骤S68中的判定结果不是动态图像记录中的情况下、或者在步骤S39中进行了3D图像记录时、或者在步骤S35中进行了静态图像记录时、或者在步骤S23中进行了AE/AF时,接着进行电源是否断开的判定(S25)。在该步骤中,判定是否再次按下了操作部123的电源按钮。在该判定结果是电源未断开的情况下,返回步骤S3。另一方面,在判定结果是电源断开的情况下,在进行主流程的结束动作后,结束主流程。
接着,使用图16对步骤S37中的图像处理/3D生成的详细动作进行说明。在进入图像处理/3D生成的流程后,首先进行图像处理(S131a)。通过步骤S30中的机械快门摄影取得拍摄了右眼部分和左眼部分的1张RAW图像数据,因此在该步骤中,针对RAW图像数据的各个部分执行图像处理的流程。在该流程中,与第1实施方式的情况同样,在设定了特殊效果(艺术过滤)的情况下,进行与所设定的特殊效果对应的伽马校正(灰度校正)和色度校正(颜色校正)。该图像处理的流程是图4所示的图像处理流程中的步骤S71~S83,步骤S85以下的步骤在此处省略,不执行。另外,在右眼用和左眼用配置了不同的摄像元件的情况下,分别对2张RAW数据进行图像处理。
在步骤S131a中了进行图像处理后,确定3D用切出位置和校正处理(S133a)。在第1实施方式中,由于是分别拍摄了右眼用图像和左眼用图像,因此确定成校正摄影视场角的微小变化和旋转等的处理。在第3实施方式中,由于用同一摄像元件接收两个图像的光,因此不需要如第1实施方式那样的校正,但由于存在制造阶段产生的误差等,因此校正该误差。即,在更换式镜头200内的闪存209中保持用于吸收上述误差的视场角的校正信息,通过与镜头的通信取得上述校正信息,确定切出位置的校正和视场角校正方法。另外,在摄像元件有多个的情况下,也可以考虑摄像元件的位置偏差。
接着进行3D图像生成(S135)。此处,3D图像生成部115使用在步骤S131a中进行了图像处理、在步骤S133a中进行的3D用切出位置和校正处理的确定,生成3D图像。
在生成3D图像后,接着判定是否进行特殊图像处理(S137)。此处,在设定了特殊效果(艺术过滤)的情况下,与第1实施方式同样,判定是否需要追加的特殊图像处理。在该判定结果是需要特殊图像处理的情况下,与第1实施方式同样,执行该特殊图像处理(S139)。在进行了特殊图像处理后、或者在步骤S137中的判定结果是不需要特殊图像处理的情况下,结束图像处理/3D生成的流程,返回到原来的流程。
由此,在本发明的第3实施方式中,同时取得右眼用的图像和左眼用的图像,对于该所取得的图像,在进行了伽马校正(灰度校正)和色度校正(颜色校正)等图像处理后,确定3D用切出位置和校正处理。依照此处确定的切出位置和校正处理,生成3D图像,在3D图像生成后,进行必要的特殊图像处理。因此,在进行在生成三维图像的过程中进行的图像的切出和旋转/梯形校正等时,图像不会发生明显变化,能够没有违和感地生成三维图像。
接着,使用图17说明本发明的第1至第3实施方式的照相机可应用的多重记录。图17示出了拍摄了风景+人物的整体图像431,整体图像431包括山435和人物437。照相机与整体图像431一起,将包含人物437的主要被摄体的部分图像433独立于整体图像431而记录到记录介质131。将这种分别记录利用1次摄影得到的多个图像的方式称作多重记录。
在多重记录的情况下,能够如整体图像431和部分图像433那样记录多个图像(在图17的例子中记录2张图像)。在进行多重记录时,可以设定3D摄影模式,在该情况(图17的例子)下,为了生成3D图像,将右眼用整体图像、左眼用整体图像、右眼用部分图像、左眼用部分图像记录到记录介质131。在与3D摄影模式一并设定了特殊效果(艺术过滤)的情况下,能够利用在本发明的第1至第3实施方式中说明的步骤,生成施加了特殊效果的3D图像。
例如,在利用第2实施方式中的施加了特殊效果的3D图像生成时,生成通常的二维图像、3D图像、和施加了特殊效果的3D图像。即,在图12中,能够利用#204L和#204R取得通常的二维图像。此外,通过将#207L和#207R置换为#215L和#215R来生成3D图像,由此能够生成未施加特殊效果的3D图像。
在#223中进行特殊图像处理的情况下,如使用图10说明的那样,在左眼用图像和右眼用图像中以被摄体的大致同一部位为图像处理中心来进行特殊图像处理。在多重记录的情况下,在整体图像431和部分图像433中,可以确定适合于各个图像的图像处理中心来进行图像处理。
在生成施加了特殊效果的3D图像时,在3D用切出位置和校正处理的确定时使用的图像由基本图像处理部109a进行灰度变换等,由此不会由于旋转/梯形校正而发生变化,并且能够防止在对视觉效果非常有影响的对比度和色度进行变换时的由于比特精度不足而产生的灰度跳变,能够生成没有违和感的立体图像。
由此,在可进行多重记录的照相机中,进行灰度变换(伽马校正)的基本图像处理部109a在一并生成施加了特殊效果的3D图像以外的图像数据的情况下,除了灰度变换以外,还进行将RAW数据变换为与立体视特殊图像效果以外的生成图像对应的灰度的处理。因此,在多重记录和实时取景的切换时,能够一并生成通常的二维图像、仅3D图像以及施加了特殊效果的3D图像。另外,也可以不生成这3种图像的全部,而生成其中的两种图像。
接着,使用图18说明本发明的第1至第3实施方式的照相机可应用的双重引擎。在图1和图13所示的框图中,图像处理部109仅设置有一个,依次按照时间序列对右眼用的图像数据和左眼用的图像数据进行处理。当对图像处理部109的基本图像处理部109a和特殊图像处理部109b分别设置两个,即设为双重引擎时,能够同时处理右眼用的图像数据和左眼用的图像数据。
图18与第1实施方式中的图7对应,是示出将图像处理部109设为双重引擎时的图像数据和处理流程的图。在图18中,对于左眼用图像,通过图像处理部109的一个处理部对#201L、#203L、#205L、#223L进行处理,对于右眼用图像,通过图像处理部109的另一个处理部对#201R、#203R、#205R、#223R进行处理。此外,#211和#221由3D图像生成部115进行处理。
由此,通过将图像处理部109设为双重引擎,能够对右眼用图像数据和左眼用图像数据并列进行图像处理。因此,能够缩短用于图像处理的时间。尤其是,当与上述第3实施方式组合时,由于能够同时拍摄左右的图像,因此能够容易地实现施加了特殊效果的3D艺术动态图像。
如以上所说明那样,在本发明的各实施方式和其应用例中,针对RAW数据,使用被变换为与特殊效果(包含自然等的有自然感的处理)对应的灰度的图像数据,切出为立体视的图像数据,或者在进行几何学变换的至少1个处理后生成立体图像数据,并对该所生成的立体图像数据施加特殊效果。因此,能够没有违和感地自然地观察施加了特殊效果的立体图像,并且能够生成该立体图像而不增加处理时间和所需存储量。
另外,在本发明的各实施方式中,在菜单画面中设定了3D摄影模式和特殊效果(艺术过滤),但该设定不限于菜单画面等设定画面,例如可以设置专用按钮,通过操作该专用按钮来设定。此外,使用了2张图像以用于生成3D图像,但当然也可以是3张以上。
此外,在本实施方式中,作为用于摄影的设备,使用数字照相机进行了说明,但是作为照相机,可以是数字单反照相机也可以是袖珍数字照相机,还可以是摄像机、视频摄影机这样的动态图像用的照相机,并且当然可以是内置在移动电话、便携信息终端(PDA:Personal Digital Assistants:个人数字助理)或者游戏设备等中的照相机。无论是哪种设备,只要是用于对有视差的多个图像赋予特殊效果来生成立体图像的图像处理用的设备,都能够应用本发明。
本发明不直接限定为上述各实施方式,在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外,能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如,可以删除实施方式所示的全部结构要素中的几个结构要素。并且,可适当组合不同实施方式的结构要素。
标号说明
100:照相机主体;101:机械快门;103:摄像元件;104:摄像元件;105:模拟处理部;107:A/D变换部;109:图像处理部;109a:基本图像处理部;109b:特殊图像处理部;110:总线;111:AE处理部;113:AF处理部;115:3D图像生成部;117:图像压缩解压缩部;121:微型计算机;123:操作部;125:闪存;127:SDRAM;129:存储器I/F;131:记录介质;133:LCD驱动器;135:LCD;200:更换式镜头;201:摄影镜头;201a:右眼用摄影镜头;201b:左眼用摄影镜头;203:光圈;203a:右眼用光圈;203b:左眼用光圈;205:驱动器;207:微型计算机;209:闪存;300:I/F;401:左眼用图像;403:右眼用图像;411:人物;413:山;421a:图像处理中心;421b:图像处理中心;431:整体图像;433:部分图像;435:山;437:人物。
Claims (9)
1.一种立体图像处理装置,其通过对拍摄得到的RAW数据实施图像处理,生成在视觉上施加了特殊效果、且能够立体视的图像数据,该立体图像处理装置的特征在于,具备:
灰度变换部,其对上述RAW数据进行灰度变换;
立体图像数据处理部,其针对由上述灰度变换部进行了灰度变换后的图像数据至少进行切出为立体视的图像数据、或者几何学变换中的任意一个处理,生成立体图像数据;
特殊效果图像处理部,其对在上述立体图像数据处理部中生成的上述立体图像数据进行特殊图像处理,来生成立体特殊图像,上述特殊图像处理施加与光学形成的图像相似的特殊效果或与利用胶片和显影洗印步骤形成的图像相似的特殊效果;以及
图像处理参数存储部,该图像处理参数存储部存储确定上述灰度变换部中的图像处理内容的第1图像处理参数、和确定上述灰度变换部中的图像处理内容的第2图像处理参数,该第2图像处理参数与上述第1图像处理参数不同,用于特殊图像处理,
其中,上述立体图像数据处理部根据上述灰度变换部进行了灰度变换后的图像数据的特征量,确定用于生成所述立体式的图像数据的切出位置和/或所述几何学变换,
使用由上述灰度变换部利用上述第1图像处理参数进行了图像处理后的图像来确定在上述立体图像数据处理部中进行的处理内容,
使用上述第2图像处理参数进行基于上述特殊效果的图像处理,
在上述立体图像数据处理部中对进行了基于上述特殊效果的图像处理后的图像生成立体图像。
2.根据权利要求1所述的立体图像处理装置,其特征在于,
上述特殊效果图像处理部根据与生成上述立体图像数据的多个图像数据中的作为基准的图像数据的预定位置对应的图像数据的位置,对各图像数据进行上述特殊图像处理。
3.根据权利要求1所述的立体图像处理装置,其特征在于,
上述特殊效果图像处理部对进行了根据图像数据中的坐标位置而不同的图像处理、或者与相邻的像素不同的处理后的图像数据进行合成。
4.根据权利要求1所述的立体图像处理装置,其特征在于,
上述RAW数据有两个以上。
5.根据权利要求1所述的立体图像处理装置,其特征在于,
在一并生成上述立体特殊图像以外的图像数据的情况下,上述灰度变换部除了上述灰度变换以外,还进行将上述RAW数据变换为与上述立体特殊图像效果以外的生成图像对应的灰度的处理。
6.根据权利要求1所述的立体图像处理装置,其特征在于,
所述立体图像处理装置还具有存储由上述特殊效果图像处理部进行处理后的立体图像数据的存储部,该存储部存储用于确定在生成上述立体图像数据时进行的处理的数据。
7.根据权利要求1所述的立体图像处理装置,其特征在于,
所述立体图像处理装置还具有存储多个图像数据的多重记录部,该多重记录部存储通常的二维图像、3D图像和施加了特殊效果的3D图像中的至少两个以上的图像数据。
8.一种立体图像处理方法,通过对拍摄得到的RAW数据实施图像处理,生成表现出视觉上的特殊效果、且能够立体视的图像数据,该立体图像处理方法的特征在于,
对上述RAW数据进行灰度变换;
针对进行了上述灰度变换后的图像数据至少进行切出为立体视的图像数据、或者几何学变换中的任意一个处理,生成立体图像数据;以及
对上述立体图像数据进行特殊图像处理来生成立体特殊图像,上述特殊图像处理施加与光学形成的图像相似的特殊效果或与利用胶片和显影洗印步骤形成的图像相似的特殊效果,
其中,在生成上述立体图像数据的步骤中,根据进行了上述灰度变换后的图像数据的特征量,确定用于生成所述立体式的图像数据的切出位置和/或所述几何学变换,
用于确定上述灰度变换的图像处理内容的第1图像处理参数、和用于确定上述灰度变换的图像处理内容的第2图像处理参数被存储,该第2图像处理参数与上述第1图像处理参数不同,用于特殊图像处理,
使用利用上述第1图像处理参数进行了灰度变换的图像处理后的图像来确定在上述生成立体图像数据的处理中进行的处理内容,
使用上述第2图像处理参数进行基于上述特殊效果的图像处理,
在上述生成立体图像数据的处理中对进行了基于上述特殊效果的图像处理后的图像生成立体图像。
9.根据权利要求8所述的立体图像处理方法,其特征在于,
在上述RAW数据的与上述特殊效果对应的图像处理之前、且执行了边缘强调处理之后,进行噪声减少处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-103331 | 2011-05-03 | ||
JP2011103331 | 2011-05-03 | ||
PCT/JP2012/060837 WO2012150680A1 (ja) | 2011-05-03 | 2012-04-23 | 立体画像処理装置および立体画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103385005A CN103385005A (zh) | 2013-11-06 |
CN103385005B true CN103385005B (zh) | 2015-10-21 |
Family
ID=47107869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280009669.6A Expired - Fee Related CN103385005B (zh) | 2011-05-03 | 2012-04-23 | 立体图像处理装置以及立体图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9317900B2 (zh) |
JP (1) | JP5444505B2 (zh) |
CN (1) | CN103385005B (zh) |
WO (1) | WO2012150680A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014024500A1 (ja) * | 2012-08-10 | 2014-02-13 | 株式会社ニコン | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
CN104811684B (zh) * | 2015-04-02 | 2017-06-16 | 广东欧珀移动通信有限公司 | 一种图像的三维美颜方法及装置 |
CN105025228A (zh) * | 2015-07-22 | 2015-11-04 | 深圳市万姓宗祠网络科技股份有限公司 | 一种根据画面状态连续记录视频、影像的方法 |
JP6862210B2 (ja) * | 2017-02-16 | 2021-04-21 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005159755A (ja) * | 2003-11-26 | 2005-06-16 | Fuji Photo Film Co Ltd | 画像処理装置及び画像処理プログラム |
CN1795682A (zh) * | 2003-05-27 | 2006-06-28 | 三洋电机株式会社 | 图像显示装置及程序 |
CN101325678A (zh) * | 2007-06-11 | 2008-12-17 | 富士胶片株式会社 | 图像记录装置和图像记录方法 |
CN101542537A (zh) * | 2006-11-21 | 2009-09-23 | 汤姆逊许可证公司 | 用于3d图像的颜色校正的方法和系统 |
CN101563669A (zh) * | 2006-12-15 | 2009-10-21 | 汤姆森特许公司 | 交互式视觉特效合成的系统和方法 |
CN101668106A (zh) * | 2008-09-03 | 2010-03-10 | 奥林巴斯映像株式会社 | 图像处理装置、摄像装置以及图像处理方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998004087A1 (fr) | 1996-07-18 | 1998-01-29 | Sanyo Electric Co., Ltd. | Dispositif et procede pour convertir des signaux video bidimensionnels en signaux video tridimensionnels |
JP2951291B2 (ja) * | 1997-06-17 | 1999-09-20 | 三洋電機株式会社 | 2次元映像を3次元映像に変換する装置および方法 |
US7010158B2 (en) * | 2001-11-13 | 2006-03-07 | Eastman Kodak Company | Method and apparatus for three-dimensional scene modeling and reconstruction |
JP4652727B2 (ja) * | 2004-06-14 | 2011-03-16 | キヤノン株式会社 | 立体画像生成システムおよびその制御方法 |
JP4847192B2 (ja) * | 2006-04-14 | 2011-12-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
US8213711B2 (en) * | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
JP4815470B2 (ja) * | 2007-06-15 | 2011-11-16 | 富士フイルム株式会社 | 画像表示装置及び画像表示方法 |
JP4672764B2 (ja) * | 2007-10-03 | 2011-04-20 | 富士フイルム株式会社 | 誤消去判断装置、方法及びプログラム |
US8300086B2 (en) | 2007-12-20 | 2012-10-30 | Nokia Corporation | Image processing for supporting a stereoscopic presentation |
US8208009B2 (en) * | 2008-02-05 | 2012-06-26 | Disney Enterprises, Inc. | Stereoscopic image generation using retinal rivalry in scene transitions |
US9094675B2 (en) * | 2008-02-29 | 2015-07-28 | Disney Enterprises Inc. | Processing image data from multiple cameras for motion pictures |
CN102377929B (zh) | 2008-09-03 | 2015-01-28 | 奥林巴斯映像株式会社 | 图像处理装置、摄像装置以及图像处理方法 |
JP5132495B2 (ja) * | 2008-09-16 | 2013-01-30 | オリンパスイメージング株式会社 | 撮像装置、および、画像処理方法 |
JP5415170B2 (ja) * | 2009-07-21 | 2014-02-12 | 富士フイルム株式会社 | 複眼撮像装置 |
JP5425554B2 (ja) * | 2009-07-27 | 2014-02-26 | 富士フイルム株式会社 | 立体撮像装置及び立体撮像方法 |
US20110222757A1 (en) * | 2010-03-10 | 2011-09-15 | Gbo 3D Technology Pte. Ltd. | Systems and methods for 2D image and spatial data capture for 3D stereo imaging |
-
2012
- 2012-04-23 JP JP2013513075A patent/JP5444505B2/ja not_active Expired - Fee Related
- 2012-04-23 WO PCT/JP2012/060837 patent/WO2012150680A1/ja active Application Filing
- 2012-04-23 CN CN201280009669.6A patent/CN103385005B/zh not_active Expired - Fee Related
-
2013
- 2013-03-08 US US13/790,887 patent/US9317900B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1795682A (zh) * | 2003-05-27 | 2006-06-28 | 三洋电机株式会社 | 图像显示装置及程序 |
JP2005159755A (ja) * | 2003-11-26 | 2005-06-16 | Fuji Photo Film Co Ltd | 画像処理装置及び画像処理プログラム |
CN101542537A (zh) * | 2006-11-21 | 2009-09-23 | 汤姆逊许可证公司 | 用于3d图像的颜色校正的方法和系统 |
CN101563669A (zh) * | 2006-12-15 | 2009-10-21 | 汤姆森特许公司 | 交互式视觉特效合成的系统和方法 |
CN101325678A (zh) * | 2007-06-11 | 2008-12-17 | 富士胶片株式会社 | 图像记录装置和图像记录方法 |
CN101668106A (zh) * | 2008-09-03 | 2010-03-10 | 奥林巴斯映像株式会社 | 图像处理装置、摄像装置以及图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2012150680A1 (ja) | 2012-11-08 |
CN103385005A (zh) | 2013-11-06 |
US20130230232A1 (en) | 2013-09-05 |
JPWO2012150680A1 (ja) | 2014-07-28 |
JP5444505B2 (ja) | 2014-03-19 |
US9317900B2 (en) | 2016-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105100594B (zh) | 摄像装置和摄像方法 | |
CN107959778B (zh) | 基于双摄像头的成像方法和装置 | |
CN102447912B (zh) | 图像处理装置、白平衡校正方法以及摄像装置 | |
US8520059B2 (en) | Stereoscopic image taking apparatus | |
CN103782586B (zh) | 成像设备 | |
CN102318331B (zh) | 立体图像拾取装置 | |
CN101753812B (zh) | 成像装置和成像方法 | |
US8830348B2 (en) | Imaging device and imaging method | |
US8885026B2 (en) | Imaging device and imaging method | |
CN101841651B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
US8212890B2 (en) | Imaging device and imaging method | |
CN102362487B (zh) | 立体成像设备 | |
KR102121531B1 (ko) | 초점검출 가능한 이미지 센서 제어장치 및 방법. | |
CN103098459B (zh) | 立体摄像装置及阴影校正方法 | |
CN103370943B (zh) | 成像装置和成像方法 | |
CN106878624A (zh) | 摄像装置和摄像方法 | |
CN105282429A (zh) | 摄像装置和摄像装置的控制方法 | |
CN108259757A (zh) | 摄像装置、图像处理装置、以及记录方法 | |
CN104885440B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
US8786728B2 (en) | Image processing apparatus, image processing method, and storage medium storing image processing program | |
CN103888665A (zh) | 拍摄装置和拍摄方法 | |
CN103385005B (zh) | 立体图像处理装置以及立体图像处理方法 | |
JP5620196B2 (ja) | 撮像装置 | |
JP2013090095A (ja) | 撮像装置、撮像方法、およびプログラム | |
CN107211097A (zh) | 摄像装置、摄像方法以及图像显示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20151204 Address after: Tokyo, Japan, Japan Patentee after: Olympus Corporation Address before: Tokyo, Japan, Japan Patentee before: Olympus Imaging Corp. |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151021 Termination date: 20200423 |
|
CF01 | Termination of patent right due to non-payment of annual fee |