CN102156380A - 摄像装置以及警告方法 - Google Patents

Abstract

本发明提供一种摄像装置，摄像控制部(212)将第1摄像部(110)的摄像图像和第2摄像部(120)的摄像图像中的任意1个作为取景图像而显示于显示部(310)中。特征检测部(213)根据第1摄像部(110)的摄像图像和第2摄像部(120)的摄像图像的两者，计算亮度值的分布或亮度方差，由此，检测各摄像图像的特征。相同性判别部(214)根据检测到的特征，判别两个图像之间的相同性，在较大不同的情况，判别为在任意1个的摄像图像上发生障碍物的拍入等的异常。在判别为发生了异常的情况，警告处理部(215)将两个图像同时显示于显示部(310)中，或将发生异常的图像作为取景图像而显示于显示部(310)中，由此，让摄影者认知到异常的发生。

Description

摄像装置以及警告方法

本申请要求以申请日为2010年2月4日，申请号为JP特願2010-022901的申请，以及申请日为2011年1月27日，申请号为JP特願2011-015299的申请为基础的优先权，该基础申请的内容全部引入到本申请中。

技术领域

本发明涉及摄像装置以及警告方法，特别是涉及适合于立体照相机的摄像装置、以及警告方法。

背景技术

包括具有光轴位置不同的2个受光部(摄像部)的复眼照相机的、所谓的立体照相机，其在比如，JP特开平6-3122号文献中公开。如果通过这样的立体照相机而进行摄影，则获得相当于在通过肉眼观看的情况产生的视差的左右图像。由此，立体照相机用于立体观看用图像(3D图像)的生成等的情况。

立体照相机像上述那样，包括2个受光部(摄像部)，但是，特别是在通过袖珍照相机来实现立体照相机的情况，作为显示于背面显示板，或电子取景器等中的取景器用的图像，多采用通过某一个摄像部获得的图像。在此情况，即使在对不是用于取景器的图像进行拍摄的摄像部的摄像范围内，具有接触镜头面的摄影者的手指等的与摄影目的无关的障碍物的情况下，该障碍物仍不出现在取景图像中。其结果是，具有在摄影时，没有注意到障碍物的拍入，逸失必要的图像，或强制重新摄影的不良状况。

发明内容

本发明的目的在于提供可让摄影者认知到这样的障碍物的拍入的摄像装置、以及警告方法。

为了实现上述目的，本发明的第1方面的摄像装置包括：

摄像机构，其针对同一被拍摄体，获得光轴位置不同的2个摄像图像；

取景图像选择机构，其将上述2个摄像图像中的任意1个选择为取景图像；

取景显示机构，其将上述取景图像选择机构选择的取景图像显示于取景画面中；

特征检测机构，其检测上述2个摄像图像的特征；

异常判别机构，其根据上述特征检测机构检测到的特征，判别是否在上述2个摄像图像中的任意1个中发生异常；

警告机构，其在通过上述异常判别机构而判别发生异常的情况，进行通知该异常的警告。

为了实现上述目的，本发明的第2方面的警告方法为用于通过具有针对同一被拍摄体而获得光轴位置不同的2个摄像图像的摄像机构的摄像装置，让摄影者认知到摄像图像上的异常的警告方法，该警告方法包括：

取景图像选择步骤，其中，将上述2个摄像图像中的任意1个选择为取景图像；

取景显示步骤，其中，将通过上述取景图像选择步骤选择的取景图像显示于取景画面中；

检测上述2个摄像图像的特征的特征检测步骤；

异常判别步骤，其中，根据在上述特征检测步骤检测到的特征，判别是否在上述2个摄像图像中的任意1个中发生异常；

警告步骤，其中，在上述异常判别步骤判别为发生异常的情况，进行通知该异常的警告。

附图说明

图1为表示本发明的实施方式的数码照相机的外观结构的图。

图2为表示本发明的实施方式的数码照相机的结构的方框图。

图3为表示通过图2所示的控制部而实现的功能的功能方框图。

图4为用于说明本发明的实施方式1的“立体照片摄像处理(1)”的流程图。

图5A为用于说明在本发明的实施方式中假想的场面的图，其为表示数码照相机和被拍摄体的位置关系、对镜头面的手指接触的样子的图。

图5B为用于说明在本发明的实施方式中假想的场面的图，其为表示第1摄像部的摄像图像的例子的图。

图5C为用于说明在本发明的实施方式中假想的场面的图，其为表示第2摄像部的摄像图像的例子的图。

图6为用于说明在图4所示的“立体照片摄像处理(1)”中执行的“特征检测处理”的流程图。

图7A为用于说明在本发明的实施方式1的处理内容的图，其表示通过“特征检测处理”计算的左眼图像的亮度频数的例子。

图7B为用于说明在本发明的实施方式1的处理内容的图，其表示通过“特征检测处理”计算的右眼图像的亮度频数的例子。

图7C为用于说明在本发明的实施方式1的处理内容的图，其表示“立体照片摄像处理(1)”的警告显示的显示例子。

图8为用于说明本发明的实施方式2的“立体照片摄像处理(2)”的流程图。

图9为用于说明在图8所示的“立体照片摄像处理(2)”中执行的“异常警告处理”的流程图。

图10A和图10B为用于说明图9所示的“异常警告处理”的图，其表示在非取景图像中检测到异常的情况的显示例子。

图10C和图10D为用于说明图9所示的“异常警告处理”的图，其表示在取景图像中检测到异常的情况的显示例子。

图11A为表示分割取景画面的样子的图。

图11B为表示通过箭头图像而明示障碍物的位置的样子的图。

图11C为通过灰色显示而明示障碍物的位置的样子的图。

具体实施方式

下面参照附图，对本发明的实施方式进行说明。在本实施方式中，给出本发明通过数码照相机(在下面称为数码照相机)实现的情况的例子。本实施方式的数码照相机1包括普通的数码照相机所具有的功能，但像图1所示的那样，构成具有2个摄像的结构的、所谓的复眼照相机(立体照相机)。另外，在本实施方式的数码照相机1中，这样的立体照相机的结构作为所谓的袖珍照相机而实现。

参照图2，对这样的数码照相机1的结构进行说明。图2为表示本发明的实施方式的数码照相机1的结构的方框图。本实施方式的数码照相机1的概略结构像图示的那样，为摄像动作部100，数据处理部200，接口(I/F)部300等。

摄像动作部100进行数码照相机1的摄像时的动作，像图2所示的那样，由第1摄像部110，第2摄像部120等构成。

第1摄像部110以及第2摄像部120为进行数码照相机1的摄像动作的部分。像上述那样，由于本实施方式的数码照相机1为立体照相机(复眼照相机)，故其为具有第1摄像部110和第2摄像部120的结构，但第1摄像部110和第2摄像部120为相同结构。在下面针对第1摄像部110的结构，标注以110为基础值的标号，针对第2摄像部120的结构，标注以120为基础值的标号，在这些标号中，最后1位为同值的标号表示相同结构。

像图2所示的那样，第1摄像部110(第2摄像部120)由光学装置111(121)，图像传感部112(122)等构成。

光学装置111(121)包括比如，镜头，光圈机构，快门机构等，进行摄像的光学的动作。即，通过光学装置111(121)的动作，进行汇聚入射光，和焦距，光圈，快门速度等的、视角，焦点，曝光等的光学要素的调整。

另外，光学装置111(121)中包括的快门机构为所谓的机械式快门。在仅仅通过图像传感器的动作，进行快门动作的情况，也可不在光学装置111(121)中设置快门机构。此外，光学装置111(121)通过后述的控制部210的控制而动作。

图像传感部112(122)由形成与通过光学装置111(121)汇聚的入射光相应的电信号的图像传感器(比如，CCD(Charge Coupled Device：电耦合元件)，CMOS(Complementally Metal Oxide Semiconductor：互补型金属氧化物半导体)等)构成。图像传感部112(122)通过进行光电变换处理，产生对应于受光而形成的电信号，将其输出给数据处理部200。

像上述那样，第1摄像部110和第2摄像部120为相同结构。更具体地说，镜头的焦距f或F值、光圈机构的光圈范围，图像传感器的尺寸或像素数量，排列，像素面积等的各种规格全部是相同的。

具有这样的第1摄像部110和第2摄像部120的数码照相机1像图1所示的那样，为下述的结构，构成在光学装置111的镜头和构成在光学装置121的镜头形成于数码照相机1的外面的同一面上。

在这里，在快门按钮成为向上的方向上使数码照相机1水平的情况，按照中心位置成为在水平方向位于同一线上的方式来配置2个镜头(受光部)。即，在同时使第1摄像部110和第2摄像部120动作的情况，对针对同一被拍摄体的图像进行拍摄，形成各图像的光轴位置沿横向偏移的图像。

在这里，本实施方式按照下述方式构成，该方式为：像图1所示的那样，朝向被拍摄体，第1摄像部110的镜头(光学装置111)位于左侧，第2摄像部120的镜头(光学装置121)位于右侧。另外，按照光轴位置的偏移相当于通过肉眼而观看到的情况的视差的方式，来设定第1摄像部110和第2摄像部120的间隔。通过该结构，相当于左眼的视野的摄像图像(左眼图像)通过第1摄像部110获得，相当于右眼的视野的摄像图像(右眼图像)通过第2摄像部120获得。这样的通过作为立体照相机的数码照相机1获得的左右图像被用于利用了视差的立体图像的形成。

在本实施方式中，将这样的通过同时驱动第1摄像部110和第2摄像部120而获得的有视差的左右图像作为“立体照片”，用于获得这样的立体照片的动作模式为“立体照片摄影模式”。另外，在不是以立体照片的获得为目的的情况，也可按照通过仅仅驱动第1摄像部110或第2摄像部120中的任意一者，获得普通的摄像图像的方式动作。在此情况，选择不同于立体照片摄影模式的动作模式。

返回到图2，继续进行数码照相机1的结构说明。

数据处理部200对通过第1摄像部110和第2摄像部120的摄像动作而生成的电信号进行处理，生成表示摄像图像的数字数据，并且进行针对摄像图像的图像处理等。像图2所示的那样，数据处理部200由控制部210，图像处理部220，图像存储器230，图像输出部240，存储部250，外部存储部260等构成。

控制部210由比如，CPU(Central Processing Unit：中央运算处理器)等的处理器、RAM(Random Access Memory)等的主存储装置(存储器)等构成，通过执行存储于后述的存储部250等中的程序，来控制数码照相机1的各部。另外，在本实施方式中，通过执行规定的程序，由控制部210来实现后述的各处理的功能。在本实施方式中，控制部210进行后述的各处理的动作，但是，也可按照由独立于控制部210的专用处理器等来进行的方式构成。

图像处理部220由比如，ADC(Analog-Digital Converter：模拟-数字变换器)、缓存器、图像处理用的处理器(所谓的图像处理引擎)等构成，根据通过图像传感部112和122生成的电信号，形成表示摄像图像的数字数据。

即，如果ADC将从图像传感部112(122)输出的模拟电信号变换为数字信号，并依次将其存储于缓存器中，则图像处理引擎针对被缓存的数字数据，进行所谓的显影处理等的处理，由此，进行画质的调整、数据压缩等处理。

图像存储器230由比如，RAM、闪存等的存储装置构成，临时容纳通过图像处理部220生成的摄像图像数据，和通过控制部210处理的图像数据等。

图像输出部240由比如，RGB信号的生成电路等构成，将存储于图像存储器230中的图像数据变换为RGB信号等，输出给显示画面(后述的显示部310等)。

存储部250由比如，ROM(Read Only Memory)、闪存等的存储装置构成，存储对于数码照相机1的动作必需的程序、数据等。在本实施方式中，将控制部210等执行的动作程序或处理所必需的参数、运算式等存储于存储部250中。

外部存储部260由比如，存储卡等的可装卸于数码照相机1中的存储装置构成，存储通过数码照相机1拍摄的图像数据等。

接口部300为与数码照相机1和其使用者或外部装置的接口相关结构，像图2所示的那样，由显示部310，外部接口(I/F)部320，操作部330等构成。

显示部310由比如，液晶显示装置等构成，显示输出为了对数码照相机1进行操作而必需的各种的画面、摄影时的实时图像(取景图像)，摄像图像等。在本实施方式中，根据来自图像输出部240的图像信号(RGB信号)等，进行摄像图像等的显示输出。

外部接口部320由比如，USB(Universal Serial Bus)连接器或视频输出端子等构成，将图像数据转送给外部的计算机装置，或将摄像图像等显示输出给外部的监视器装置。

操作部330由构成于数码照相机1的外表面上的各种按钮等构成，生成与数码照相机1的使用者的操作相对应的输入信号，将其输入到控制部210中。构成操作部330的按钮包括比如，用于指示快门动作的快门按钮，用于指定数码照相机1所具有的动作模式的模式按钮，用于进行各种设定操作的十字键或功能按钮等。

在这里，在本实施方式中，通过控制部210执行存储于存储部250中的动作程序，由此，进行后述的各种处理，参照图3，对在此情况，通过控制部210实现的功能进行说明。

图3为表示通过控制部210实现的功能的功能方框图。在这里，表示为了实现用于进行立体照片摄影的功能，以及将立体照片摄影时的障碍物的拍入等的异常向摄影者警告的功能而必需的功能结构。在此情况，像图所示的那样，控制部210作为动作模式处理部211，摄像控制部212，特征检测部213，相同性判别部214，警告处理部215等发挥功能。

动作模式处理部211通过与显示部310的协同动作，进行由数码照相机1的用户指定数码照相机1所具有的各种动作模式所必需的画面显示、已指定的每个动作模式的设定画面显示等。此外，动作模式处理部211通过与显示部310的协同动作，识别用户指定的动作模式，从存储部250读取该动作模式的执行所必需的程序、运算式等，将其载入控制部210的主存储装置(存储器)中。

在本实施方式中，进行立体照片摄影的动作模式(立体照片摄影模式)由用户指定。另外，在下面说明的控制部210的各功能结构为通过下述的方式实现的功能结构，该方式为：对应于对立体照片摄影模式的指定，动作模式处理部211执行载入的程序。

摄像控制部212通过对第1摄像部110和第2摄像部120，图像输出部240等进行控制，执行数码照相机1的摄像动作。在此情况，摄像控制部212进行比如，在普通的数码照相机中进行的那样的，测光，变焦，对焦，自动曝光，摄像时的画面显示等这样的摄像的各种处理和控制。

在选择立体照片摄影模式的情况，摄影控制部212按照第1摄像部110和第2摄像部120两者为相同的动作的方式同时进行控制。在此情况，也可按照在其中一个摄像部(比如，第1摄像部110)进行上述那样的摄像中的各种动作，按照由此获得的参数(焦距，曝光值等)，另一摄像部(比如，第2摄像部120)联动的方式进行控制。

在这里，摄像动作时的取景图像显示于显示部310中，该取景图像为通过第1摄像部110或第2摄像部120中的任意一者的摄像动作获得的实时图像。在本实施方式中，通过第1摄像部110获得的实时图像作为取景图像而显示于显示部310中。在此情况，摄像控制部212对图像输出部240进行控制，由此，将通过第1摄像部110的动作获得的实时图像输出给显示部310。

特征检测部213根据通过第1摄像部110和第2摄像部120的两者获得的摄像图像的各者，分别检测在图像上出现的特征。在这里，比如，进行取得各摄像图像的直方图(比如，亮度直方图，色度直方图)，或取各摄像图像的亮度方差，或计算各摄像图像的空间频率等的处理，检测特征。这些检测动作按照进行应用已有图像处理技术等的处理的方式实施。

相同性判别部214根据特征检测部213检测到的特征，判别根据第1摄像部110和第2摄像部120获得的摄像图像的相同性。即，在采用数码照相机1，拍摄立体照片的情况，由于通过第1摄像部110和第2摄像部120，对同一被拍摄体进行拍摄，故在所获得的摄像图像中，在光轴位置偏移以外的位置，没有大的不同，因此，以从各摄像图像而检测出的特征均是基本相同的情况为前提。于是，根据特征检测部213检测到的特征的差异，判别比如，在摄像图像中是否具有不必要的拍入，是否具有立体图像的生成所必需的相同性等。

在这里，在特征检测部213检测到的特征中具有较大的不同的情况，可判别在从其中一个摄像部获得的摄像图像中，拍入比如什么障碍物。在本实施方式中，由于通过第1摄像部110获得的实时图像为取景图像，故即使在于第2摄像部120的摄像图像中拍入障碍物的情况下，在摄影时摄影者仍无法认知。在这里，将比如摄影者的手指接触第2摄像部120的镜头面而造成的该手指的拍入、在第2摄像部120的镜头面上附着污物而造成的拍入等假定为障碍物。

另外，在由于与被拍摄体的距离过近，而在第1摄像部110和第2摄像部120中，被拍摄体像有较大不同的情况，无法根据已获得的左右图像，适当地形成立体图像。于是，在本实施方式中，相同性判别部214判别是这样的情况，还是没有上述障碍物的拍入等的情况。在这里，根据通过对特征检测部213检测到的各摄像图像的特征进行比较而获得的差异，判别是否具有可允许的范围内的相同性，由此，判别摄像图像上的异常的有无。

警告处理部215进行用于下述情况的警告处理，该下述情况指在相同判别部214判别为通过第1摄像部110获得的摄像图像和通过第2摄像部120获得的摄像图像之间的相同性不在可允许的范围内的情况下，使摄影者认识到发生障碍物的拍入等的异常。在这里，通过对图像输出部240、显示部310进行控制，进行警告消息的显示、在显示部310中显示的取景图像的来源(source)切换等，由此摄影者认知到障碍物的拍入等的异常发生的情况。

以上为通过控制部210实现的功能。另外，在本实施方式中，通过控制部210执行程序而进行的逻辑的处理，实现上述的各功能。但是，这些功能也可通过比如，ASIC(Application Specific Integrated Circuit：指定用途的集成电路)等的硬件构成。在此情况，关于图3所示的功能中，与图像处理相关的功能，也可通过图像处理部220而实现。

上面描述的数码照相机1的构成是为了实现本发明而必需的构成，根据需要而采用用于作为数码照相机的基本功能或各种附加功能的方案。

下面对这样的结构的数码照相机1的动作进行说明。在这里，给出选择数码照相机1的动作模式中的上述的“立体照片摄影模式”的情况的动作例子。

(实施方式1)

参照图4所示的流程图，对以选择该动作模式的情况为契机而执行的本实施方式的“立体照片摄像处理(1)”进行说明。

如果开始处理，则摄像控制部212对摄像动作部100进行控制，开始第1摄像部110和第2摄像部120的驱动(步骤S10)，开始各摄像部的摄像动作。另外，在本实施方式中，“立体照片摄影模式”为用于对作为立体图像的立体照片进行拍摄的模式，在步骤S10开始的摄像动作为作为取景图像的运动图像摄像。

通过被驱动的第1摄像部110和第2摄像部120的动作，由图像处理部220对通过各自的动作获得的摄像图像进行处理，将2个实时图像存储于图像存储器230中，并且将其输入至控制部210。即，获得相当于左右图像的实时图像(步骤S11)。

像上述那样，在本实施方式中，由于使通过第1摄像部110获得的实时图像为取景图像，故摄像控制部212对图像处理部220、图像输出部240进行控制，由此，将第1摄像部110拍摄的实时图像显示于显示部310中(取景显示)(步骤S12)。

在这里，在本实施方式中，假定下述的场面，其中，在图5A所示的那样的，通过数码照相机1对被拍摄体进行摄影的情况下，摄影者的手指接触构成第2摄像部120的光学装置121的镜头。在此情况，通过第1摄像部110拍摄的实时图像(左眼图像)为图5B所示的图像，这样的图像作为取景图像而显示于显示部310中。

另一方面，在通过手指接触镜头面的第2摄像部120拍摄的实时图像(右眼图像)中，比如，像图5C所示的那样，拍入手指。由于本实施方式的立体照片用于立体图像的形成，故产生在左眼图像和右眼图像之间有光轴位置的偏移以外的较大的不同的不良状况。于是，图5C所示的那样的右眼图像的手指的拍入成为这样的立体照片中的障碍物。

但是，在显示部310中，图5B所示的那样的左眼图像作为取景图像而显示，右眼图像(非取景图像)不显示于显示部310中。于是，摄影者无法认知图5C所示的那样的障碍物的拍入。

为了使摄影者认知这样的障碍物的拍入等的异常，必须检测异常的发生。在本实施方式中，根据左右图像的特征，检测异常，执行用于检测特征的“特征检测处理”(步骤S100)。参照图6所示的流程图，对该“特征检测处理”进行说明。

开始处理后，特征检测部213设定摄像图像整体的亮度等级(步骤S101)。在本实施方式中，按照8比特，对图像的亮度进行处理，通过0～255的值来表示亮度等级。在此情况，在本实施方式中，亮度值0表示最小亮度，亮度值255表示最大亮度。另外，也可按照既定的程度设定这样的亮度等级，在此情况，也可不进行步骤S101。

在本实施方式中，根据这样的亮度等级，检测障碍物的拍入等的异常，即，对左眼图像的亮度和右眼图像的亮度进行比较，根据其差异来判别两图像之间的相同性。但是，即使在没有产生障碍物的拍入等的情况下，因光轴位置偏离，两个图像并非完全相同，亮度等级也呈现差异。于是，如果采用全亮度值，进行严密的比较，则不但检测到这样的误差，而且处理负荷也变大。于是，在本实施方式中，比如，用中间值将亮度等级分成两半而进行处理，由此，谋求检测精度适合化和处理负荷的减轻。

在此情况，在本实施方式中，设亮度等级的0～255中的亮度值0～127(低亮度侧)的范围为“亮度范围A”(步骤S 102)，亮度值128～255(高亮度侧)的范围为“亮度范围B”(步骤S103)。另外，既可按照既定的程度设定这样的亮度范围，也可在此情况，进行步骤S102～步骤S103。

特征检测部213针对左右图像，分别对表示各亮度范围的亮度频数的直方图进行运算。更具体地说，对左眼图像的亮度范围A的直方图、左眼图像的亮度范围B的直方图、右眼图像的亮度范围A的直方图、与右眼图像的亮度范围B的直方图分别进行运算(步骤S104～步骤S107)。

此情况的“直方图”表示相应的像素的频数(分布)，特征检测部213通过采用在普通的图像处理中进行的已知的直方图制作技术，对各直方图进行运算。

在这里，图7A和图7B表示根据在图5B和图5C中例举的摄像图像，对直方图进行运算的情况的例子。图7A表示针对左眼图像而运算的直方图(亮度频数)的例子，属于该亮度范围A的像素数为“LA”，属于该亮度范围B的像素数为“LB”。另外，图7B表示针对右眼图像而运算的直方图(亮度频数)的例子，属于该亮度范围A的像素数为“RA”，属于该亮度范围B的像素数为“RB”。

在此情况，像图5C所示的那样，由于在右眼图像中，产生手指接触的拍入，故像图7B所示的那样，比如，呈现属于低亮度侧的亮度范围A的像素RA相对较多，属于高亮度侧的亮度范围B的像素RB相对较少的倾向。这样的亮度分布的特征相对未产生障碍物的拍入等的异常的左眼图像的直方图(图7A)，差异较大。

于是，取左右图像的直方图的差分，将其与规定的阈值进行比较，由此，可严格区别出障碍物的拍入等造成的左右图像的差异。在本实施方式中，采用通过特征检测部213而运算的各直方图所示的像素数，相同性判别部214进行差分运算(步骤S108)。

在这里，相同性判别部214通过比如，对下述的数学公式1进行运算，来求取左右图像之间的直方图差分HD。

(数学公式1)

HD＝(LA-RA)×(LA-RA)+(LB-RB)×(LB-RB)

对这样的差分HD进行运算后，结束“特征检测处理”，返回到“立体照片摄像处理(1)”(图4)的流程。

在“立体照片摄像处理(1)”中，相同性判别部214通过对“特征检测处理”的步骤S108计算出的差分HD，与规定的阈值TH进行比较，判别是否为警告对象(步骤S13)。在这里，阈值TH比如，为通过数码照相机1的制造者等实施的实验等而获得的值，在能假定的障碍物的拍入等在其中一个摄像部中产生的情况呈现的差分HD的最小值等作为阈值TH而预先设定。

在此情况，如果相同性判别部214在步骤S108计算的差分HD在阈值TH以上时，判别为左右图像的相同性在允许范围之外，认为在任意1个的摄像图像中产生障碍物的拍入等并作为警告对象(步骤S13：是)。

在判别为是警告对象的情况，相同判别部214将该内容通知给警告处理部215。在此情况，警告处理部215进行用于让摄影者认知到在左右图像中的任意1个中产生障碍物的拍入等的异常的情况的警告处理(步骤S14)。

在此情况，警告处理部215通过控制图像输出部240，比如，像图7C所示的那样，按照不仅视觉确认第1摄像部110的实时图像(左眼图像)，而且还同时视觉确认第2摄像部120的实时图像(右眼图像)的方式将这些图像并列地显示显示部310中。

在这里，由于假定在第2摄像部120的摄像图像中产生障碍物的拍入的情况，故通过进行这样的并列显示，摄影者可识别在第2摄像部120的右眼图像产生的异常。

此外，也可像图7C所示的那样，显示表示障碍物的拍入等发生的情况的警告消息等。在像上述那样，并列显示2个实时图像的情况，由于各图像相对本来的取景图像被缩小地显示，还考虑障碍物的拍入无法视觉确认，无法把握警告内容的情况，但是，通过一起显示这样的警告消息，可更加确实地视觉确认警告内容。

进行这样的警告处理后，再次执行特征检测处理(步骤S100)，进行是否为警告对象的判别(步骤S13)。在这里，如果通过警告显示，认知到障碍物的拍入等，则摄影者进行不使该障碍物拍入等的应对处理。如果排除在左右图像的特征中产生不同的原因，则不再判别为警告对象(步骤S13：否)。

在该情况，如果在步骤S14的警告处理中，形成图7(c)所示的那样的警告显示(步骤S15：是)，则警告处理部215解除该警告显示(步骤S16)。在此情况，警告处理部215通过控制图像输出部240等，像当初那样，将第1摄像部110的实时图像作为取景图像而显示于显示部310中。

像这样，成为普通的取景画面后，对应于对操作部330的快门按钮被操作的情况(步骤S17：是)，摄像控制部212对摄像动作部100进行控制，进行立体照片的摄像动作(步骤S18)。

另外，如果没有发生规定的结束事件(比如，“立体照片摄影模式”的解除，数码照相机1的电源关闭等)(步骤S19：否)，则反复进行步骤S11以后的处理，由此，继续立体照片的摄像动作，通过结束事件的发生，本处理结束(步骤S19：是)。

在通过上述这样的处理，在立体照相机中没有用作取景图像的摄像部产生障碍物的拍入等的情况，同时显示2个摄像部的图像来进行警告，由此，可让摄影者认知到异常的发生。

此外，在上述实施方式的“特征检测处理”(步骤S100)中，通过左右图像的亮度直方图来检测出特征，进行相同性的判别，但是，只要是能够进行相同性的判别，则特征检测的方法是任意的，则也可比如，通过色度直方图(RGB直方图)，检测特征。在此情况，可通过比如，采用针对RGB中的指定的单色(比如，G)的色度直方图，谋求特征检测的处理负荷的减轻。

(实施方式2)

在上述实施方式1中，由于根据在左右图像的特征中是否具有一定程度以上的差异来进行判别，故没有对产生障碍物的拍入等的图像是哪个摄像部的图像这一点进行指定。由此，通过在上述实施方式1中，同时显示双方的图像的方式，由摄影者识别。

在这里，如果能够对障碍物的拍入等发生的图像为哪个摄像部的图像这一点进行指定，则由于比如，可通过将取景图像切换到该摄像部的图像等，由摄影者识别，故可更加确实地视觉确认障碍物等。在本实施方式中，在下面给出用于实现这样的动作的处理例。

参照图8所示的流程图，对本实施方式的“立体照片摄像处理(2)”进行说明。该“立体照片摄像处理(2)”与在实施方式1中例举的“立体照片摄像处理(1)”的情况相同，以选择“立体照片摄影模式”等为契机而开始。

开始处理后，摄像控制部212控制摄像动作部100，由此，开始第1摄像部110和第2摄像部120的驱动(步骤S20)，开始各摄像部的摄像动作。

在这里，摄像控制部212复位表示将哪个摄像部的图像用作取景图像的标记(flag)(取景标记(flag))(步骤S21)。在这里，取景标记的值取“0”和“1”，在“0”的情况，第1摄像部110的取景图像用作取景图像，在“1”的情况，第2摄像部120的取景图像用作取景图像。

通过被驱动的第1摄像部110和第2摄像部120的动作，由图像处理部220对各自获得的摄像图像进行处理，将2个实时图像存储于图像存储器230中，并且输入到控制部210。即，获得相当于左右图像的实时图像(步骤S22)。

摄像控制部212控制图像输出部240，与在当前的取景标记(flag)中设定的标记(flag)值相对应的图像显示于显示部310中(步骤S23)。在这里，由于在步骤S21，复位取景标记(flag)，故第1摄像部110的实时图像作为取景图像而显示于显示部310中。

如果像这样，处于可进行立体照片的摄像的状态，则进行用于让摄影者认知到发生障碍物的拍入等的异常的情况的“异常警告处理”(步骤S200)。参照图9所示的流程图，对该“异常警告处理”进行说明。

开始处理后，特征检测部213计算针对取景图像的亮度方差V1(步骤S201)。在这里，由于当前的取景标记的标记值为“0”，因此特征检测部213用第1摄像部110的取景图像(左眼图像)，计算亮度方差。在这里，左眼图像的亮度值为p1(x，y)，对下述的数学公式2进行运算，由此，计算出针对左眼图像的亮度方差V1。

(数学公式2)

V1＝∑∑(p1(x，y)-mean(p1))^2

在上述数学公式2中，∑符号表示总和，分别指x，y方向的左眼图像的全部范围。另外，mean表示平均，mean(p1)表示左眼图像的亮度平均。另外，∧表示幂乘。

接着，特征检测部213针对没有用作取景图像的图像(非取景图像)，即，第2摄像部120的实时图像(右眼图像)，同样地计算亮度方差。特征检测部213通过对下述的数学公式3进行运算的方式，计算该情况的亮度方差V2。在这里，p2(x，y)表示右眼图像的亮度值，关于其它的要素，与数学公式2的情况相同。

(数学公式3)

V2＝∑∑(p2(x，y)-mean(p2))^2

在这里，如果比如，像图5(a)所示的那样，摄影者的手指接触镜头面，或在镜头面上附着污物等，则将摄像部的入射光部分地遮挡，在于这样的状况下获得的图像中，具有像上述那样而求得的亮度方差变小的倾向。

于是，通过对左右图像的亮度方差进行比较，在产生障碍物的拍入等的情况，可判别在哪个图像中产生。于是，相同性判别部214对针对特征检测部213计算的取景图像(左眼图像)的亮度方差V1，与非取景图像(右眼图像)的亮度方差V2进行比较。

在这里，由于第1摄像部110的左眼图像作为取景图像而显示，故相同性判别部214首先判别：是否在取景画面中无法识别的第2摄像部120的右眼图像中没有发生障碍物的拍入等。在此情况，相同性判别部214判别是否非取景图像的亮度方差V2小于取景图像的亮度方差V1，并且其差超过规定的阈值TH1(步骤S203)。

在亮度方差V2小于亮度方差V1，并且其差超过规定的阈值TH1的情况(步骤S203：是)，相同性判别部214判别障碍物的拍入等的异常在非取景图像中发生，将该内容通知给警告处理部215。警告处理部215进行用于根据来自相同性判别部214的通知，让摄影者认知到在非取景图像中发生异常的情况的警告处理。

在这里，通过控制图像输出部240，进行取景图像的切换(步骤S204)。即，通过将取景图像的来源(source)从第1摄像部110，切换到第2摄像部120，由此，像图10A～图10B所示的那样，将取景图像从作为当初的取景图像的第1摄像部110的实时图像(左眼图像)，切换到第2摄像部120的实时图像(右眼图像)，将其显示于显示部310中。

在切换取景图像的情况，警告处理部215将取景标记的值反转(步骤S205)。在这里，标记值从“0”，变为“1”。

如果像这样，进行取景图像的切换的警告，则再次进行步骤S201以后的处理。在这里，由于在步骤S205将标记值反转，则步骤S201的取景图像为第2摄像部120的实时图像(右眼图像)，步骤S202的非取景图像为第1摄像部110的实时图像(左眼图像)。

由于通过上述取景图像的切换，摄影者可视觉确认障碍物的拍入等情况，故可进行去除障碍物等的应对处理。如果排除异常的原因，由于左右图像的亮度分布基本相同(步骤S203：否，步骤S206：否)，故结束本处理，返回到“立体照片摄像处理(2)”(图8)的流程。

另一方面，在“异常警告处理”的开始后，取景图像(在此情况，第1摄像部110的摄像图像)的亮度方差V1小于非取景图像(在此情况，第2摄像部120的摄像图像)的亮度方差V2，并且其差值超过规定的阈值TH1的情况(步骤S203：否，步骤S206：是)，障碍物的拍入等的异常发生于取景图像上。

由于取景图像显示于显示部310中，故由摄影者认知到异常的可能性高，但是，比如，像图10C所示的情况等的那样，具有镜头上的附着物等那样的微小的障碍物的拍入等无法视觉确认的情况。于是，在判别为在取景图像上发生异常的情况，警告处理部215比如，像图10D所示的那样，按照重叠于显示于显示部310中的取景图像上的方式显示警告消息(步骤S207)。

同样在此情况，如果通过执行步骤S201以后的处理，进行警告显示，直至消除障碍物的拍入等，排除异常的原因，则由于左右图像的亮度分布度基本相同(步骤S203：否，步骤S206：否)，结束本处理，返回到“立体照片摄像处理(2)”(图8)的流程。在像这样，亮度方差V1和亮度方差V2的差在阈值TH1以下的情况，将左右图像的亮度分布视为基本相同，也视为在任何的摄像图像中，均没有拍入障碍物的情况。另一方面，在亮度方差V1和亮度方差V2的差在阈值TH1以上的情况，视为左右图像的亮度分布不同的情况，视为在至少一个摄像图像中，拍入障碍物等的情况。

如果返回到“立体照片摄像处理(2)”，则警告处理部215复位取景标记，并且控制图像输出部240，由此，将与标记值相对应的取景图像显示于显示部310(步骤S24)。即，在“异常警告处理”(图9)中，进行取景图像的切换的情况，再次将第1摄像部110的取景图像(左眼图像)作为取景图像而显示于显示部310中。

如果像这样，形成普通的取景画面，则对应于对操作部330的快门按钮进行的操作(步骤S25：是)，摄像控制部212控制摄像动作部100，进行立体照片的摄像动作(步骤S26)。

接着，如果没有发生“立体照片摄影模式”的解除、数码照相机1的电源关闭等的结束事件(步骤S27：否)，反复进行步骤S22以后的处理，由此，继续立体照片的摄像动作，通过结束事件的发生，本处理结束(步骤S27：是)。

在通过上述那样的处理，在非取景图像中，检测到障碍物的拍入等的异常的情况，切换取景图像，在取景图像中检测到异常的情况，显示警告消息，由此，可更加有效地让摄影者认知到异常的发生。

另外，在本实施方式中，左右图像的特征检测采用亮度方差，但是，并不限于此，比如，也可通过采用傅立叶变换处理等，计算各个图像的空间频率，将低频成分多的图像判别为警告对象。

此外，在本实施方式中，给出在非取景图像中检测到障碍物的拍入等的异常的情况，切换取景图像的例子。但是，在非取景图像中检测到障碍物的拍入等的异常的情况，也可像图7C所示的那样，同时视觉确认右眼图像和左眼图像的方式，在显示部310中并列显示这些图像。另外，在取景图像中检测到异常的情况，也可按照同时视觉确认右眼图像和左眼图像的方式，在显示部310中并列显示这些图像。

(实施方式3)

在上述各实施方式中，在一个摄像部的图像为既定的取景图像、发生障碍物的拍入等的异常的情况，至少通过进行可视觉确认非取景图像的显示，让摄影者识别。另外，在本发明中，也可通过摄影者的手动操作，进行取景画面的切换。

比如，像实施方式1的那样，在不能对于哪个摄像图像中发生异常的情况进行指定的情况，在检测到异常时，比如，在取景画面上进行警告消息的显示。另外，如果在取景图像上发生异常，由于摄影者可视觉确认，故可进行用于排除原因的应对处理。另一方面，在取景图像上无法视觉确认异常的情况，由于在非取景图像上发生的可能性高，故通过摄影者的任意操作，切换取景图像。

按照这样的动作，即使为不能指定异常的发生源的检测方法的情况下，仍可有效地让摄影者予以认知，仍可有效地进行原因排除。

另外，也可不按照既定方式对取景图像位于哪个摄像部的情况进行设定，即使在可通过摄影者而任意地选择取景图像的情况下，仍可让摄影者认知到障碍物的拍入等的发生。比如，在通过实施方式2例示的处理中，在摄影者可任意地选择取景图像的情况，可通过根据需要而设定取景标记(flag)，进行在实施方式2中例举的那样的警告处理。

在此情况，也可比如，不在实施方式2的“立体照片摄像处理(2)”(图8)的步骤S24，进行取景标记(flag)的复位，而是对应于摄影者的任意操作进行取景显示。

像上面描述的那样，如上述实施方式那样，采用本发明，由此，即使在立体照相机中未用作取景的摄像部的图像中发生异常的情况下，仍可让摄影者认知到。

在此情况，由于可通过左右图像的直方图，判别异常的发生有无，故可采用在数码照相机等中一般采用的直方图功能而进行处理。

此外，在该情况，由于同时显示左右图像的2者，故在非取景图像中发生异常的情况，可让摄影者认知到该异常。

或者，可根据左右图像的亮度方差，判别异常的发生有无，在此情况，可对在哪个图像上发生异常的情况进行指定。

在此情况，如果在非取景图像中发生异常，由于通过切换取景图像，进行警告，比如，可全面显示发生异常的图像，可更加有效地识别异常的发生。

还有，如果在取景图像中发生异常，由于在该取景画面中显示警告消息，故即使在是在摄影中忽略的异常的情况下，仍可让摄影者认知到。

再有，即使在通过摄影者的操作，任意地选择取景图像的情况下，仍可适宜地让摄影者认知到异常的发生。

上述实施方式为一个例子，本发明的适用范围并不限于此。即，可进行各种的应用，一切的实施方式包括在本发明的范围内。

比如，在上述各实施方式中给出的特征检测方法为一个例子，只要可检测到在任意1个的摄像图像中发生异常的情况，则特征检测方法是任意的。

还有，在上述实施方式中，主要例举镜头面的手指接触，镜头的附着物等这样的障碍物的拍入的异常的例子，但是，可以因左右图像不同，对立体图像的形成造成妨碍的现象警告为异常。比如，可将因与被拍摄体的距离近，左右图像有较大不同的情况作为异常，但是，在此情况，也可根据此时的对焦距离等，进行障碍物的拍入的严格区别。

在上述实施方式中，给出虽然将拍入障碍物等的图像作为取景图像而提示给摄影者，但是，没有明示取景画面内的障碍物等的位置的例子。另外，在本发明中，也可明示取景画面内的障碍物等的位置。下面对明示取景画面内的障碍物的位置的方法的一个例子进行说明。在这里，对通过明示由分割取景画面而获得的多个区域中的，障碍物所属的区域，从而明示取景画面内的障碍物的大致位置的方法进行说明。

在这里，可对如何分割显示部310的情况适当地调整。比如，显示部310也可按照N个(其中，N表示2以上的自然数)的区域沿宽度方向(图11A～图11C的上下方向)而按照1排并列的方式分割，还可按照M个(M表示2以上的自然数)的区域沿长度方向(图11A～图11C的左右方向)而按照1排并列的方式分割，还可按照N×M个区域沿宽度方向和长度方向呈矩阵状设置的方式分割。

图11A表示显示部310通过沿上下2分割，沿左右2分割，分割成4个区域的样子。在图11A中，左上的区域为区域310A，右上的区域为区域310B，左下的区域为区域310C，右下的区域为区域310D。

首先，控制部210指定4个区域中的显示障碍物的区域(在下面适合称为“障碍物所属的区域”)。指定障碍物所属的区域的方法是任意的。比如，可根据构成障碍物所属的区域的像素的亮度值的特征，指定障碍物所属的区域。

比如，如果在某区域包含障碍物，则有该区域的亮度方差(构成该区域的全部的像素的亮度值的方差)减少的情况。在此情况，障碍物所属的区域的亮度方差小于非障碍物所属的其它的区域的亮度方差的概率增加。于是，可将比如，亮度方差最小的区域推定为障碍物所属的区域。另外，推定在取景图像中障碍物所属的区域的亮度方差小于非取景图像中的与该区域相对应的区域的亮度方差。于是，可将取景图像的亮度方差相对于非取景图像的亮度方差，相对最小的区域推定为障碍物所属的区域。比如，可将从取景图像的亮度方差中减去非取景图像的亮度方差而得到的值为最小的区域，或将取景图像的亮度方差除以非取景图像的亮度方差而得到的值为最小的区域推定为障碍物所属的区域。另外，人们认为，因包括障碍物而亮度方差减少的理由在于如果包括手指等的障碍物，则图像模糊的可能性高或障碍物的颜色，明亮度均匀的可能性高等等。

另外，如果在某区域包括障碍物，则有构成该区域的全部的像素的亮度值的总和减少的情况。在此情况，障碍物所属的区域的亮度值的总和小于非障碍物所属的其它的区域的亮度值的总和的概率增加。于是，比如，可将亮度值的总和最小的区域推定为障碍物所属的区域。另外，可推定在取景图像中障碍物所属的区域的亮度值的总和小于非取景图像中的与该区域相对应的区域的亮度值的总和。于是，可将取景图像的亮度值的总和相对于非取景图像的亮度值的总和，相对最小的区域推定障碍物所属的区域。比如，可将从取景图像的亮度值的总和中减去非取景图像的亮度值的总和而得到的值为最小的区域，或取景图像的亮度值的总和除以非取景图像的亮度值的总和而得到的值为最小的区域推定为障碍物所属的区域。另外，人们认为，因包含障碍物，亮度值的总和减少的理由在于如果具有手指等的障碍物，则遮挡光。

通过上面给出的方法，控制部210指定障碍物所属的区域。在这里，图11A表示障碍物属于区域310B的例子。在此情况，通过各种方法，明示在区域310B中显示障碍物。

比如，像图11B所示的那样，控制部210将明示障碍物所属的区域的箭头图像311显示于显示部310。按照该方案，摄影者可马上掌握到，通过箭头图像311表示的区域310B为障碍物所属的区域。

或者，像图11C所示的那样，控制部210对障碍物所属的区域进行灰色显示(其中，在图11C中，通过网格显示，表示灰色显示)。按照该方案，摄影者可马上掌握到，进行灰色显示的区域310B为障碍物所属的区域。

另外，用于表示障碍物所属的区域的方法并不限于这些方法。比如，可通过框图像，将障碍物所属的区域围绕，或显示表示障碍物所属的区域的字符串。

像这样，在本发明中，也可为了让摄影者可快速地去除障碍物的，而明示取景画面内的障碍物的大致位置。

此外，在图11A，图11B，图11C中，给出表示明示多个区域的边界的线的例子，但是，也可不显示表示边界的线。

还有，如果根据可通过预先具有与上述实施方式的摄像装置相同的功能、结构的摄像装置，实现本发明，获得相当于视差的摄像图像，则将程序应用于已有的摄像装置(数码照相机等)，由此，也可用作本发明的摄像装置。在此情况，通过在具有与在上述实施方式中例举的数码照相机1相同的结构的摄像装置的计算机(CPU等的控制部)，运行用于实现与上述的控制部210的功能相同的功能的程序，则可用作本发明的摄像装置。

再有，在上述实施方式中，作为摄像装置的例子，给出数码静态照相机，但是，只要是具有与在上述实施方式中例举的数码照相机1相同的结构，则摄像装置的形式是任意的，比如，也可通过数码摄像机等，实现本发明的摄像装置。

在任何的情况，可通过使用程序，将已有装置作为本发明的图像显示器发挥功能。这样的程序的使用方法是任意的，比如，可存储而用于CD-ROM、存储卡等的存储媒体中，并且还可经由互联网等的通信媒体而使用。

Claims (15)

1.一种摄像装置，具备：

摄像机构，其针对同一被拍摄体，获得光轴位置不同的2个摄像图像；

取景图像选择机构，其将上述2个摄像图像中的任意1个选择为取景图像；

取景显示机构，其将上述取景图像选择机构选择的取景图像显示于取景画面中；

特征检测机构，其检测上述2个摄像图像的特征；

异常判别机构，其根据上述特征检测机构检测到的特征，判别是否在上述2个摄像图像中的任意1个中发生异常；和

警告机构，其在通过上述异常判别机构判别为发生异常的情况，进行通知该异常的警告。

2.根据权利要求1所述的摄像装置，其中，

上述特征检测机构分别针对上述2个摄像图像，计算构成摄像图像的像素的亮度值的分布；

上述异常判别机构根据上述特征检测机构计算出的亮度值的分布的差异，判别上述异常是否发生。

3.根据权利要求1所述的摄像装置，其中，

上述警告机构在上述异常判别机构判别为发生异常的情况，在上述取景画面中同时显示上述2个摄像图像的两者。

4.根据权利要求1所述的摄像装置，其中，

上述特征检测机构分别针对上述2个摄像图像，计算表示构成摄像图像的像素的亮度值的方差的亮度方差；

上述异常判别机构根据上述特征检测机构计算出的亮度方差的比较，判别上述异常是否发生。

5.根据权利要求4所述的摄像装置，其中，

上述警告机构在上述取景图像选择机构没有选择的上述摄像图像的亮度方差小于上述取景图像选择机构选择的上述摄像图像的亮度方差，并且其差超过规定的阈值的情况，将上述取景显示机构所显示的取景图像切换到上述取景图像选择机构没有选择的上述摄像图像。

6.根据权利要求4所述的摄像装置，其中，

上述警告机构在上述取景图像选择机构选择的上述摄像图像的亮度方差小于上述取景图像选择机构没有选择的上述摄像图像的亮度方差，并且其差超过规定的阈值的情况，将警告消息显示于上述取景显示机构所显示的取景画面中。

7.根据权利要求4所述的摄像装置，其中，

上述警告机构在上述取景图像选择机构选择的上述摄像图像的亮度方差、与上述取景图像选择机构没有选择的上述摄像图像的亮度方差之差超过规定的阈值的情况，将亮度方差小的摄像图像中的表示发生上述异常的区域的信息显示于上述取景画面中。

8.根据权利要求7所述的摄像装置，其中，

上述警告机构将构成亮度方差小的摄像图像的多个分割区域中的在分割区域中包含的像素的亮度方差最小的分割区域指定为发生上述异常的区域。

9.根据权利要求7所述的摄像装置，其中，

上述警告机构将构成亮度方差小的摄像图像的多个分割区域中的在分割区域中包含的像素的亮度值的总和最小的分割区域指定为发生上述异常的区域。

10.根据权利要求7所述的摄像装置，其中，

上述警告机构将构成亮度方差小的摄像图像的多个分割区域中的在分割区域中包含的像素的亮度方差，相对于亮度方差大的摄像图像中的与该分割区域相对应的分割区域中包含的像素的亮度方差为相对最小的分割区域指定为发生上述异常的区域。

11.根据权利要求7所述的摄像装置，其中，

上述警告机构将构成亮度方差小的摄像图像的多个分割区域中的在分割区域中包含的像素的亮度值的总和，相对于亮度方差大的摄像图像中的与该分割区域相对应的分割区域中包含的像素的亮度值的总和为相对最小的分割区域指定为发生上述异常的区域。

12.根据权利要求7所述的摄像装置，其中，

上述警告机构使发生上述异常的区域为灰色显示，来显示于上述取景画面中。

13.根据权利要求7所述的摄像装置，其中，

上述警告机构在上述取景画面中显示表示发生上述异常的区域的箭头图像。

14.根据权利要求1所述的摄像装置，其中，

上述取景图像选择机构对应于上述摄像装置的使用者的操作，选择上述取景图像。

15.一种警告方法，用于通过具备针对同一被拍摄体而获得光轴位置不同的2个摄像图像的摄像机构的摄像装置，让摄影者认知到摄像图像上的异常，该警告方法包括：

取景图像选择步骤，将上述2个摄像图像中的任意1个选择为取景图像；

取景显示步骤，将通过上述取景图像选择步骤选择的取景图像显示于取景画面中；

特征检测步骤，检测上述2个摄像图像的特征；

异常判别步骤，根据在上述特征检测步骤检测到的特征，判别是否在上述2个摄像图像中的任意1个中发生异常；以及

警告步骤，在上述异常判别步骤判别为发生异常的情况，进行通知该异常的警告。

Images