CN107862243B - 搜索设备、包括该搜索设备的摄像设备和搜索方法 - Google Patents
搜索设备、包括该搜索设备的摄像设备和搜索方法 Download PDFInfo
- Publication number
- CN107862243B CN107862243B CN201710859194.4A CN201710859194A CN107862243B CN 107862243 B CN107862243 B CN 107862243B CN 201710859194 A CN201710859194 A CN 201710859194A CN 107862243 B CN107862243 B CN 107862243B
- Authority
- CN
- China
- Prior art keywords
- angle
- importance level
- subject
- image
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000004364 calculation method Methods 0.000 claims abstract description 59
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 67
- 230000033001 locomotion Effects 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 15
- 230000008921 facial expression Effects 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 79
- 238000012937 correction Methods 0.000 description 28
- 230000006641 stabilisation Effects 0.000 description 27
- 238000011105 stabilization Methods 0.000 description 27
- 230000001133 acceleration Effects 0.000 description 22
- 238000004091 panning Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000009826 distribution Methods 0.000 description 8
- 241000282326 Felis catus Species 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Adjustment Of Camera Lenses (AREA)
- Closed-Circuit Television Systems (AREA)
- Exposure Control For Cameras (AREA)
Abstract
本发明涉及一种搜索设备、包括该搜索设备的摄像设备和搜索方法。所述搜索设备包括:分割部件,用于针对摄像设备被设置为原点的空间坐标中的各角度范围进行区域的分割;计算部件,用于针对通过分割所获得的各所述区域,计算被摄体的重要度级别;以及改变部件,用于基于针对各所述区域所计算出的被摄体的重要度级别,来改变要搜索被摄体的拍摄图像的视场角的中心位置。
Description
技术领域
本发明的各方面通常涉及用于搜索诸如数字照相机等的摄像设备所获得的拍摄图像的视场角(视角)位置的搜索设备。
背景技术
诸如数字照相机等的一些摄像设备涉及诸如曝光确定和焦点调节等的对于摄像而言重要的全自动操作。
此外,提出了在平摇方向或倾斜方向上进行照相机的旋转驱动以搜索被摄体的控制设备。
然后,控制设备可以使用用于检测被摄体中所包括的人物的面部或人体的面部检测功能或人体检测功能来检测人物,并且可以通过根据与所检测到的人物有关的信息进行调焦控制、曝光控制或者平摇和倾斜转动来追踪被摄体。
日本特开2001-268425论述了如下的自动追踪设备,其中该自动追踪设备通过利用马达驱动进行照相机的平摇和倾斜来自动地改变摄像方向,由此自动地追踪移动被摄体。
此外,关于图像识别,在神经网络中,已知被称为“卷积神经网络(CNN)”的计算方法作为使得模式识别能够相对于识别对象的变化具有鲁棒性的方法。作为向这种面部识别或物体识别应用CNN的示例,提出了诸如日本特开2004-128975中所论述的技术等的技术。
然而,用于通过根据被摄体的位置使照相机平摇或倾斜来追踪被摄体的摄像系统存在以下问题。
<对电力的影响>
为了进行平摇或倾斜所用的旋转驱动,将会消耗马达驱动所用的电力。
尽管在诸如监视系统的情况等的可以始终供给电力的情况下不存在问题,但在诸如以电池驱动而使用的情况等的总电力容量有限的情况下,难以在始终进行平摇或倾斜所用的驱动的同时使系统长时间进行工作。
<自动拍摄中的被摄体的搜索时间的问题>
在通过平摇或倾斜驱动来搜索被摄体的同时进行自动拍摄的照相机的情况下,在始终追踪同一被摄体时,照相机可能仅拍摄该同一被摄体。
在自动拍摄期间,照相机在搜索各种不同的被摄体并且被摄体改变的同时,进行自动拍摄。这里,如果在继续始终使照相机进行大范围的平摇或倾斜的同时进行被摄体搜索,则搜索被摄体将会耗时。
发明内容
本发明的各方面通常涉及提供用于搜索被摄体的搜索设备,其中该搜索设备能够缩短搜索被摄体所需的搜索时间并且能够减少驱动所需的电力。
根据本发明的一个方面,一种搜索设备,包括:分割部件,用于针对摄像设备被设置为原点的空间坐标中的各角度范围进行区域的分割;计算部件,用于针对通过分割所获得的各所述区域,来计算被摄体的重要度级别;以及改变部件,用于基于针对各所述区域所计算出的被摄体的重要度级别,来改变要搜索被摄体的拍摄图像的视场角的中心位置。
根据本发明的另一方面,一种摄像设备,包括:上述的搜索设备;以及图像传感器。
根据本发明的又一方面,一种搜索方法,包括以下步骤:针对摄像设备被设置为原点的空间坐标中的各角度范围进行区域的分割;针对通过分割所获得的各所述区域,来计算被摄体的重要度级别;以及基于针对各所述区域所计算出的被摄体的重要度级别,来改变要搜索被摄体的拍摄图像的视场角的中心位置。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1A和1B示意性示出根据本发明的典型实施例的摄像设备。
图2示出根据本发明的典型实施例的摄像设备的结构。
图3是示出本发明的典型实施例中的控制的流程图。
图4是本发明的典型实施例中的绝对角度计算和图像模糊校正量计算的功能框图。
图5A和5B示出本发明的典型实施例中的摄像设备的方向。
图6A、6B、6C和6D示出根据本发明的典型实施例中的摄像设备的空间坐标中的各角度范围的区域分割。
图7A、7B和7C示出本发明的典型实施例中的拍摄图像内的区域分割。
图8A和8B示出本发明的典型实施例中的拍摄图像内的区域分割。
图9示出本发明的典型实施例中的拍摄图像内的各区域中的人物检测。
图10示出本发明的典型实施例中的拍摄图像内的各区域中的物体检测。
图11示出本发明的典型实施例中的拍摄图像内的各区域中的场景检测。
图12是示出本发明的典型实施例中的语音检测的流程图。
图13A、13B和13C示出本发明的典型实施例中的拍摄图像内的运动检测。
图14示出本发明的典型实施例中的各区域的拍摄张数管理。
图15示出本发明的典型实施例中的个人认证登记中的各被摄体的拍摄张数管理。
图16示出本发明的典型实施例中的物体识别登记中的各被摄体的拍摄张数管理。
图17示出本发明的典型实施例中的各场景的拍摄张数管理。
图18是示出本发明的典型实施例中的使用搜索经过时间的计算的流程图。
图19A和19B示出本发明的典型实施例中的各场景的搜索目标角度的计算。
图20A和20B示出根据本发明的典型实施例的摄像设备的空间坐标中的各角度范围的区域分割。
图21A和21B示出根据本发明的典型实施例的摄像设备所获得的拍摄图像。
图22A、22B和22C示出根据本发明的典型实施例的摄像设备的空间坐标中的各角度范围的区域分割。
具体实施方式
以下参考附图来详细说明本发明的各种典型实施例、特征和方面。为了准确指代,将示例性封闭实施例称为第一实施例、第二实施例和第三实施例。这些指代决没有限制这里所提供的公开内容,并且在实践中仅是作为该公开内容的示例所提供的。
<照相机操作>
图1A和1B示意性示出用作根据第一典型实施例的摄像设备的照相机。
图1A所示的照相机101例如配备有诸如电源开关等的用于使得能够进行照相机操作的操作构件。
镜筒102安装至照相机101,其中该镜筒102包括用于进行摄像的用作摄像光学系统的拍摄透镜组以及图像传感器;并且照相机101配备有能够进行镜筒102相对于固定部103的旋转驱动的机构。
照相机101配备有:马达驱动机构(倾斜转动单元)104,其能够使镜筒102沿图1B所示的俯仰方向转动;以及马达驱动机构(平摇转动单元)105,其能够使镜筒102沿图1B所示的横摆方向转动。
图1B示出固定部103的位置中的轴的定义。角速度计106和加速度计107这两者安装在照相机101的固定部103上。
<摄像设备的框图>
图2是示出根据本典型实施例的具有自动被摄体搜索功能的摄像设备的结构的框图。
参考图2,变焦单元201包括用于进行光学变倍的变焦透镜。变焦驱动控制单元202控制变焦单元201的驱动。
调焦单元203包括用于进行焦点调节的透镜。调焦驱动控制单元204控制调焦单元203的驱动。
摄像单元205包括图像传感器,其中该图像传感器接收经由透镜组入射的光并且将与同所接收到的光量相对应的电荷有关的信息作为模拟图像数据输出至图像处理单元206。
图像处理单元206对在模数(A/D)转换之后所输出的数字图像数据应用诸如失真校正、白平衡调整和颜色插值处理等的图像处理,并且输出处理后的数字图像数据。
从图像处理单元206输出的数字图像数据被转换成诸如联合图片专家组(JPEG)格式等的记录格式,然后由图像记录单元207记录在诸如非易失性存储器等的记录介质上。
镜筒旋转驱动单元213驱动倾斜转动单元104和平摇转动单元105,以沿倾斜方向和平摇方向分别机械地驱动镜筒102。
设备抖动检测单元208例如是用于检测摄像设备的三轴方向上的角速度的角速度计(陀螺仪传感器)106。
此外,配备有用于检测摄像设备的三轴方向上的加速度的加速度计(加速度传感器)107,并且基于所检测到的信号来计算设备的转动角度或设备的偏移量。
设备移动检测单元209使用全球定位系统(GPS)系统所获得的位置信息或者使用诸如加速度传感器等的移动检测单元来检测设备的移动。
GPS可以设置在设备101的本体上,或者可以将外部GPS检测装置所检测到的位置信息经由通信发送至设备101。
尽管利用设备抖动检测单元208来检测设备的偏移量,但由于考虑到加速度传感器的特性而难以检测大的移动,因此利用设备抖动检测单元208来检测小范围的移动并且利用设备移动检测单元209来检测大的移动。
语音输入单元210从设备上所配备的麦克风获取音频信号。
使用操作单元211对系统进行操作,并且操作单元211配备有电源按钮和用于改变照相机的设置的按钮,并且在操作了电源按钮的情况下,根据预期用途来向系统整体供给电力并且启动照相机。
控制单元212控制系统整体。
<摄像设备的操作的流程图>
图3是示出根据本典型实施例的摄像设备的操作的示例的流程图。
通过接通照相机101的主电源来启动具有图3所示的自动被摄体搜索功能的摄像设备,由此进行自动被摄体搜索或自动拍摄。
在操作单元211中操作了电源按钮的情况下,首先,在步骤S301中,控制单元212进行各种初始设置(例如,摄像或自动搜索)。
在自动搜索的初始化中,例如,进行以下所述的用于对被摄体的重要度级别进行初始化的处理。
在初始设置完成并且摄像设备准备好从图像传感器获取图像信息的情况下,处理进入步骤S302。在步骤S302中,控制单元212使图像处理单元206根据从摄像单元205获取到的信号来生成经过被摄体检测所用的图像处理的图像。
基于所生成的图像来进行诸如人物检测或物体检测等的被摄体检测。
在检测人物的情况下,检测被摄体的面部或人体。在面部检测处理中,预先定义用于判断人物的面部的模式,并且可以检测到与拍摄图像内所包括的模式一致的部位作为人物的面部图像。
此外,同时还计算表示被摄体的面部的可能性的可靠度,并且基于例如图像内的面部范围的大小或者与面部模式的一致度来计算可靠度。
在物体识别的情况下,同样,可以识别出与预先登记的模式一致的物体。
此外,存在用于利用使用例如拍摄图像中的色相或饱和度的直方图的方法来提取特征被摄体的方法。
关于在拍摄视场角内拍摄到的被摄体的图像,将根据例如拍摄图像中的色相或饱和度的直方图所得出的分布分割成多个区间,并且进行用于针对各区间对拍摄图像进行分类的处理。
例如,针对拍摄图像生成多个颜色成分的直方图,按山形分布范围对该图像进行划分,按属于相同区间的组合的范围对拍摄图像进行分类,并且识别被摄体的图像范围。
针对所识别的被摄体的各图像范围来计算评价值,由此可以判断出该被摄体的评价值最高的图像范围作为主被摄体范围。
可以使用上述方法来根据拍摄图像信息获得各被摄体信息。
在步骤S302中控制单元212获取到诸如被摄体检测信息等的拍摄图像信息之后,处理进入步骤S303。
在步骤S303中,控制单元212获取从设备抖动检测单元208输出的角速度信息,然后处理进入步骤S304。
在步骤S304中,控制单元212获取从设备抖动检测单元208输出的加速度信息,然后处理进入步骤S305。在步骤S305中,控制单元212根据所检测到的加速度信息和角速度信息来计算照相机绝对角度,然后处理进入步骤S306。
在步骤S306中,控制单元212计算为了减少或防止在照相机101处于手持状态或以可穿戴方式安装至人体的情况下所引起的图像模糊而使用的图像模糊校正量。
参考图4所示的框图以及图5A和5B所示的说明图来说明步骤S305中的用于计算照相机绝对角度的方法和步骤S306中的用于计算图像模糊校正量的方法。
如图1A所示,角速度计106和加速度计107这两者安装在照相机101的固定部103上。
因此,由于输出与固定部103的位置处的角速度和加速度有关的信息,因此还计算出基于这种信息所计算出的照相机绝对角度作为固定部103的位置处的绝对角度。
此外,为了校正镜筒102的转动抖动(图像传感器的抖动),基于固定部103的位置处的角速度信息来计算校正角度量,由此计算图像模糊校正量。
然后,基于图像模糊校正量来驱动倾斜转动单元104和平摇转动单元105,由此可以使镜筒102转动以进行模糊校正。
<照相机绝对角度计算和图像模糊校正量计算的框图>
图4是照相机绝对角度计算和图像模糊校正量计算的功能框图。
说明用于计算照相机绝对角度的方法。
将角速度计106的输出(俯仰、横摆和侧倾)和加速度计107的输出(X轴、Y轴和Z轴)分别输入至俯仰绝对角度计算单元401、横摆绝对角度计算单元402和侧倾绝对角度计算单元403。
然后,计算俯仰方向、横摆方向和侧倾方向各自的绝对角度,由此计算角速度计106和加速度计107的位置处的绝对角度、换句话说固定部103处的照相机绝对角度。
首先,可以基于加速度计107的各个轴的输出之间的关系来计算侧倾方向、俯仰方向和横摆方向上的照相机绝对角度,由此计算加速度计算俯仰绝对角度、加速度计算横摆绝对角度和加速度计算侧倾绝对角度。
然而,仅在设备保持静止并且不受来自外部的加速度影响的情况下,换句话说,仅在加速度计所检测到的加速度中重力加速度占主导的情况下,才可以精确地检测到倾斜角度。
例如,考虑如下拍摄操作:通过操作员在步行期间用手保持照相机所进行的拍摄操作、在照相机固定地安装至人体的一部分的状态下的拍摄操作、或者在照相机安装至诸如汽车或摩托车等的车辆的状态下的拍摄操作。
在这种情况下,重力加速度以外的加速度(以下称为“振动加速度”)的影响变大,并且难以进行正确的绝对角度计算。
此外,在仅利用角速度计106来估计照相机角度的情况下,还可以通过对角速度输出进行积分计算来估计姿势和角度,但由于因积分而产生的误差同样累积,因此也难以进行正确的绝对角度计算。
因此,去除利用角速度计106和加速度计107无法适当处理的噪声范围,并且使用传感器融合来进行信号合成以计算绝对角度。
使用传感器融合来进行以下操作:使用例如卡尔曼滤波器或互补滤波器进行计算,去除对角速度计106的积分误差的影响最大的低频噪声,并且去除对由加速度计107的扰动引起的计算误差的影响最大的高频噪声。
然后,将这些信号合成使得能够进行噪声被去除的正确的绝度角度计算。
因此,基于来自角速度计106的陀螺仪俯仰角速度和加速度计算俯仰绝对角度的传感器融合来进行俯仰绝对角度计算401,由此计算俯仰绝对角度。
此外,基于来自角速度计106的陀螺仪横摆角速度和加速度计算横摆绝对角度的传感器融合来进行横摆绝对角度计算402。
然后,计算横摆绝对角度,并且基于来自角速度计106的陀螺仪侧倾角速度和加速度计算侧倾绝对角度的传感器融合来进行侧倾绝对角度计算403,由此计算侧倾绝对角度。
此外,在从加速度计107不能检测照相机绝对角度所基于的轴(例如,在图5B的Y方向与重力方向完全一致的情况下的作为绕Y轴的转动所使用的轴的横摆转动轴)中,仅基于来自角速度计106的输出来进行绝对角度计算。
将在判断为基于照相机角度的变化能够计算绝对角度的情况下所获得的最后的绝对角度设置为开始,并且在不能检测绝对角度的时间段内基于角速度积分来进行绝对角度计算。
根据上述方法,能够计算照相机绝对角度。
<图像模糊校正量计算方法>
接着,说明图像模糊校正量计算方法。
由于根据上述的照相机绝对角度计算方法能够计算照相机绝对角度,因此可以通过基于表示照相机绝对角度的信号进行倾斜转动单元104和平摇转动单元105的旋转驱动来进行模糊校正。
然而,由于在基于照相机绝对角度进行图像稳定控制的情况下进行用以继续维持相同姿势的控制,因此产生如下问题:在操作员在移动的同时进行拍摄的情况下构图没有改变、或者通过使各单元移动得超过该单元的可动端所进行的图像稳定控制变得不可能。
因此,最好仅对高频成分进行图像稳定控制、而不对低频成分进行模糊校正。
在图像模糊校正量计算中,由于不进行针对低频成分的模糊校正控制,因此仅使用角速度计106来计算校正量。
角速度计106的输出在由高通滤波器(HPF)截除其直流(DC)成分之后被积分,然后被转换成角度信号,由此计算出图像稳定角度。
角速度计106安装在照相机的固定部103上,并且角速度计106的横摆方向上的转动轴与平摇转动单元105的转动轴一致。
因此,平摇图像稳定角度计算单元405通过使用HPF和积分对从角速度计106输出的横摆角速度进行角度转换来计算平摇方向(横摆方向)上的图像稳定角度,并且通过进行平摇转动单元105的机械旋转驱动来进行平摇方向上的模糊校正。
关于倾斜方向,由于角速度计106安装在照相机的固定部103上,因此用以进行倾斜方向上的模糊校正的控制根据平摇转动单元105的转动角度而改变。
假定在角速度计106的位置处、换句话说在照相机的固定部103的位置处能够检测到如图1B所示所定义的轴方向上的角速度。
在平摇转动处于正位置的情况下(图5A,在X轴始终位于与光轴垂直的方向时),直接计算出俯仰图像稳定角度计算单元406所计算出的俯仰图像稳定角度作为倾斜图像稳定角度。
在平摇转动角度是从正位置起转动了90度的角度的情况下(图5B,在Z轴始终位于与光轴垂直的方向时),直接计算出侧倾图像稳定角度计算单元407所计算出的侧倾图像稳定角度作为倾斜图像稳定角度。
在这两个情况之间,由于基于平摇转动角度来根据俯仰图像稳定角度和侧倾图像稳定角度计算平摇角度转动位置处的倾斜图像稳定角度,因此可以通过以下的公式(1)来计算与平摇角度转动位置相对应的倾斜图像稳定角度。
θtl=θpi×cosθap+θri×sinθap (1)
(θtl:倾斜图像稳定角度,θpi:俯仰图像稳定角度,θri:侧倾图像稳定角度,并且θap:平摇图像稳定角度)
这样,倾斜图像稳定角度计算单元404根据平摇转动位置来计算倾斜图像稳定角度。
在公式(1)中,通过对俯仰角度和侧倾角度进行转换来计算倾斜图像稳定角度。
然而,还可以利用如下方法来计算倾斜图像稳定角度,其中该方法用于根据平摇转动角度以及来自角速度计106的俯仰角速度和侧倾角速度来计算倾斜角速度、并且使用HPF和积分处理对该倾斜角速度进行角度转换。
在上述方法中,可以计算出平摇图像稳定角度和倾斜图像稳定角度,并且可以通过根据各个图像稳定角度(图像模糊校正量)进行倾斜转动单元104和平摇转动单元105的旋转驱动来进行模糊校正。
此外,还可以根据以上所获得的照相机绝对角度以及倾斜转动单元104和平摇转动单元105的转动位置,来计算镜筒102的绝对角度。
更具体地,可以通过在从自横摆绝对角度计算单元402输出的横摆绝对角度中减去平摇转动单元105的转动角度,来计算横摆方向上的光轴基准照相机角度(镜筒102的横摆绝对角度)。
此外,可以根据平摇转动单元105的转动位置和倾斜转动单元104的转动位置,来计算被转换成固定部103的位置的俯仰方向上的镜筒转动角度和侧倾方向上的镜筒转动角度。
因此,可以通过在从自俯仰绝对角度计算单元401输出的俯仰绝对角度中减去俯仰方向上的镜筒转动角度,来计算俯仰方向上的光轴基准照相机角度(镜筒102的俯仰绝对角度),然后可以通过在从自侧倾绝对角度计算单元403输出的侧倾绝对角度中减去侧倾方向上的镜筒转动角度来计算侧倾方向上的光轴基准照相机角度(镜筒102的侧倾绝对角度)。
这样,如果可以计算出光轴基准的照相机角度,则可以基于在照相机启动时所获得的角度来判断镜筒当前正指向哪个方向。
在根据上述方法计算出照相机绝对角度和图像模糊校正量的情况下,处理进入步骤S307,其中在该步骤S307中,进行照相机移动检测。
控制单元212基于从设备移动检测单元209输入的GPS位置信息或加速度信息,来检测照相机101是否在很大程度上进行了移动。
可选地,在具有能够获取GPS位置信息的外部装置、并且照相机101和该外部装置能够彼此进行通信的结构中,控制单元212可以通过接收在GPS位置信息已改变的情况下从外部装置发送至照相机101的移动信息,来检测照相机101是否移动。
在步骤S308中,控制单元212进行照相机状态判断。
控制单元212基于根据角速度信息、加速度信息或GPS位置信息所检测到的照相机角度或照相机移动量,来判断照相机当前处于哪种振动或移动状态。
例如,在照相机101安装于汽车上的状态下进行拍摄的情况下,诸如周围风景等的被摄体信息根据移动距离而在很大程度上改变。
因此,控制单元212可以判断照相机是否处于“车辆移动状态”(其中在该车辆移动状态中,照相机在安装于例如汽车上的状态下正高速移动),并且可以将所检测到的信息用于进行以下所述的自动被摄体搜索。
此外,控制单元212判断照相机角度的变化是否大,并且判断照相机101是否处于抖动角度小的“放置拍摄状态”。由于在照相机101处于“放置拍摄状态”的情况下可以认为照相机101自身的角度无变化,因此控制单元212可以进行放置拍摄所用的被摄体搜索。
此外,在照相机角度的变化相对较大的情况下,由于判断为照相机101处于“手持状态”,因此控制单元212可以进行手持拍摄所用的被摄体搜索。
以下说明各状态下的被摄体搜索方法。
在步骤S309中,控制单元212判断步骤S305中所检测到的照相机角度是否是正确计算出的照相机角度,并且在难以检测照相机绝对角度的情况下,控制单元212判断为不能检测照相机绝对角度。
然后(步骤S309中为“否”),处理进入步骤S310。在步骤S310中,控制单元212对自动搜索处理进行初始化,这包括诸如以下所述的被摄体的重要度级别的初始化等的处理。
如果可以检测照相机绝对角度(步骤S309中为“是”),则处理进入步骤S311。
不能检测照相机绝对角度的状态是对照相机的影响非常大并且根据加速度计输出的照相机角度的计算失败的情况。
此外,如果例如在照相机角速度非常大并且超过角速度计可检测的范围的情况下检测到诸如上述等的状态,则判断为不能检测照相机绝对角度。
在步骤S311中,控制单元212以步骤S301的初始设置时或步骤S310的自动被摄体搜索的初始化时所获得的照相机101的绝对角度为基准,来进行区域分割。
然后,控制单元212基于区域分割来对照相机101当前获取到的图像进行块分割。
<区域分割所用的方法>
参考图6A、6B、6C和6D来说明区域分割。
在如图6A所示使用照相机位置作为原点(将原点O设置为照相机位置)的状态下,对整个球面进行区域分割。
在图6A所示的示例中,在倾斜方向和平摇方向各自上,以22.5度进行分割。
在如图6A所示进行分割的情况下,随着照相机倾斜方向上的角度移动得远离0度,水平方向上的圆周变小,使得各区域的覆盖范围变小。
因此,如图6B所示,在倾斜角度为45度以上的情况下,将水平方向上的区域范围设置得大于22.5度。
图6C和6D示出在拍摄视场角内进行区域分割的示例。
轴601表示初始化时的照相机101的方向,并且在使用该方向角度作为基准位置的状态下进行区域分割。
区域602表示拍摄图像的视场角区域,并且在图6D中示出此时所拍摄到的图像的示例。基于区域分割来将以该视场角拍摄到的图像分割成图6D所示的图像分区603~618。
<拍摄视场角内的区域分割>
图7A、7B和7C示出在将照相机的平摇方向设置为初始化时所获得的方向601的情况下的拍摄视场角内的区域分割。
在倾斜角度为0度的情况下所获得的以自动被摄体搜索的初始化时的照相机101的绝对角度为基准的区域覆盖范围具有照相机拍摄视场角701和视场角中心702,并且在图7B中示出此时所获得的拍摄图像。
在倾斜角度为55度的情况下所获得的区域覆盖范围具有照相机拍摄视场角703和视场角中心704,并且在图7C中示出此时所获得的拍摄图像。
尽管在倾斜角度为0度的情况下、由于水平方向上的角度范围的差异不太大因此区域之间的大小的差异小,但在倾斜角度为55度的情况下,水平方向上的角度范围根据这些角度而大幅改变。
因此,在倾斜角度为45度以上的情况下,将水平方向上的区域范围设置得大于22.5度,由此防止该区域范围随着倾斜角度的变大而变得过小。
图8A和8B示出在照相机从照相机初始位置起在平摇方向上转动了11.25度的情况下并且在倾斜角度为0度的情况下所获得的、具有照相机拍摄视场角801和视场角中心802的区域覆盖范围,并且在图8B中示出此时所获得的拍摄图像。
如图8A所示,在水平方向上以11.25度作为中心来设置区域覆盖范围。
通过以下的公式(2)和(3)来获得上述拍摄视场角内的分割区域的范围,并且计算该视场角内所存在的所有的分割区域的范围,使得如图7B或7C或者图8B所示在图像中进行区域分割。
θay=θy+θy’ (2)
θax=θx’×cosθay (3)
其中,
θx:平摇角度(以照相机初始位置为基准),
θy:倾斜角度(以照相机初始位置为基准),
θx’:从平摇角度位置(图像的水平方向上的中心)起直到区域分割角度为止的角度,
θy’:从倾斜角度位置(图像的垂直方向上的中心)起直到区域分割角度为止的角度,
θax:从图像内的水平中心起直到水平方向上的区域分割角度为止的水平方向角度的长度,
θay:从图像内的垂直中心起直到垂直方向上的区域分割角度为止的垂直方向角度的长度,以及
照相机初始位置以0度为基准。
尽管将各区域分割角度设置为22.5度,但将垂直方向上的45度~67.5度的范围内的水平区域分割角度设置为45度。在垂直方向上的67.5度~90度的范围内,不进行水平方向上的分割,由此仅设置一个区域。
这样,在步骤S311中进行区域分割之后,处理进入步骤S312,其中在该步骤S312中,控制单元212计算被摄体的重要度级别。
在以下说明中,基于例如诸如图6D所示等的所获取到的图像中的被摄体信息来针对各区域计算被摄体的重要度级别。
针对拍摄范围相对于视场角小的区域(诸如图6D所示的区域603、604、605、606、607、610、611、614、615、616、617和618等),不进行被摄体的重要度级别的判断或更新。
例如,在假定区域的大小为100%时,在该区域中的拍摄图像范围为50%以下的情况下,不进行被摄体的重要度级别的判断或更新。
在以上所设置的各区域中,在各种条件下设置被摄体的重要度级别。例如根据以下项来计算被摄体的重要度级别。
在本典型实施例中,使用用于基于针对各区域所计算出的被摄体的重要度级别来改变拍摄图像的视场角的中心位置的改变单元,来改变要搜索被摄体的拍摄图像的视场角的中心位置。
<与人物信息相对应的重要度级别的设置>
设置与视场角内的各区域位置中的人物信息相对应的重要度级别。
面部检测所用的已知技术例如包括使用与面部有关的知识(肤色信息以及诸如眼睛、鼻子和嘴等的部位)的方法以及利用以神经网络为代表的学习算法来构成面部检测所用的判别器的方法。
此外,通常,为了提高检测精度,将多个面部检测方法组合以用于进行面部检测。
进行面部检测,以例如计算面部的大小、面部的取向和表示面部的可能性的可靠度。
此外,已知有用于根据与面部的所检测到的器官有关的信息来检测面部表情的技术,由此可以检测到眼睛的张开程度或者可以检测到笑容程度。
更具体地,例如,根据构成面部的器官(例如,眼睛、鼻子和嘴)的轮廓以及眼睛的内角、眼睛的外角、鼻孔、嘴角和嘴唇的位置,来获取检测面部表情所需的特征量。
用于获取特征量的方法例如包括使用面部构成部分的模版来进行模板匹配的方法和使用面部构成部分的大量样本图像来进行学习算法的方法。
例如,可以基于所检测到的特征量来检测笑容程度、眼睛的闭合、眨眼和面部表情估计(喜悦、惊讶、愤怒、悲伤和不露表情的脸)。
此外,可以预先登记个体面部数据,并且还可以进行用于基于所检测到的面部来进一步检测人物是否是特定个人的个人面部认证。
判断所检测到的对象与预先登记在数据库中的对象是否一致,或者判断一致度。
使用所检测到的被摄体的图像数据来提取用于将该被摄体的范围识别为要认证的对象的特征信息。然后,将所提取的特征信息同作为与预先登记在数据库中的被摄体的图像有关的登记信息的特征信息进行比较。
使用表示通过比较所获得的类似度的认证评价值,来进行用以判断要认证的对象是哪个对象或者判断是否存在匹配的登记对象的认证。
例如,针对认证评价值设置预定阈值,并且在认证评价值等于或大于预定阈值的情况下,可以判断为要认证的对象是数据库中所登记的相应对象。
增益Kr是表示面部可靠度的级别的值(例如,随着可靠度从低级别增加为高级别,增益Kr增大),并且基于例如面部的大小、面部的取向和面部的可能性来判断可靠度。
增益Ka是表示个人面部认证信息的级别的值,并且是基于所登记的每一个人面部的重要度(例如预先登记的重要度)或以下所述的过去拍摄信息而针对各面部所设置的。
增益Ks是表示面部表情的级别的值,并且是基于与预先设置的面部表情相对应的级别(例如,将笑容、喜悦和惊讶设置为高级别,并且将愤怒、悲伤、不露表情的脸和眼睛闭合设置为低级别)、针对面部以级别所表示的。
这里,各面部表情的级别可被配置为根据面部表情的程度(例如,在笑容的情况下为笑容程度)而改变。
根据以上所获得的增益Kr、Ka和Ks,通过以下的公式(4)来获得与人物面部表情相对应的级别Flvl。
Flvl=Kr×Ka×Ks (4)
参考图9来说明与人物信息相对应的级别设置。
如上所述,图像中的拍摄范围小的区域(诸如区域901、904、905和908等)未被视为要搜索的区域,因而没有经过判断。
这里,说明在视场角内拍摄三个人物(909、910和911)的图像的情况作为示例。假定被摄体909是没有登记个人面部认证(登记信息)的被摄体、并且是面部表情无笑容的被摄体。假定被摄体910是没有登记个人面部认证的被摄体、并且是面部表情有笑容的被摄体。
假定被摄体911是登记了个人面部认证的被摄体、并且是面部表情有笑容的被摄体。
由于在区域902和906中拍摄到人物909的图像,因此根据与人物909有关的人物信息来对这两个区域902和906进行级别设置。
由于人物909没有登记个人面部认证,因此增益Ka为“1”,并且由于人物909不具有笑容,因此增益Ks为“1”,由此根据表示人物909的面部可靠度的级别的增益Kr来确定被摄体(人物)909的重要度级别。
由于在区域903和907中拍摄到人物910和911的图像,因此根据与人物910和911有关的信息来对这两个区域903和907进行级别设置。
由于人物910没有登记个人面部认证,因此增益Ka为“1”,并且由于人物910是有笑容的被摄体,因此将增益Ks设置为大于“1”的值。
由于人物911登记了个人面部认证,因此增益Ka是大于“1”的值,并且由于人物911是有笑容的被摄体,因此将增益Ks设置为大于“1”的值。
因此,在人物909、910和911的面部可靠度的级别是相同的可靠度的情况下,被摄体的重要度级别的大小变为911>910>909。
此外,根据在区域中拍摄到面部的图像的比例来进行级别设置。在面部图像的比例大的区域中,直接设置以上所获得的级别,并且在面部图像的比例小的区域中,根据该面部图像的比例来改变级别。
例如,在区域903和区域907中的面部图像的比例为8:2的情况下,将这两者的级别分别设置为10:2.5。
以上述方式,基于人物信息来针对各区域设置人物级别。
<与物体识别信息相对应的重要度级别的设置>
如果检测到预先登记的被摄体,则进行基于物体识别信息的重要度级别的设置。
例如,基于针对“狗”或“猫”等的一般物体类别识别或者与预先登记的被摄体图像的一致度来进行使用被摄体识别的重要度级别的设置。
物体识别例如包括用于根据以神经网络为代表的学习算法来构成针对“狗”或“猫”等的判别器的方法。
参考图10来说明与预先登记的物体识别信息相对应的级别设置。这里,说明在画面上存在视场角内拍摄到的三个被摄体(1009、1010和1011)的图像的情况作为示例。
通过物体识别判断出被摄体1009是狗,并且判断出被摄体1010是猫。被摄体1011是人物,并且由于在<与人物信息相对应的重要度级别的设置>中预先判断出人物,因此该人物是从与物体识别信息相对应的级别设置的对象中排除的被摄体。
预先登记在识别出“狗”的情况下所获得的级别和在识别出“猫”的情况下所获得的级别,并且例如,狗是重要被摄体。在“猫”被定义为不是重要被摄体的情况下,将检测到“狗”的区域1007的级别设置得高于检测到“猫”的区域1006的级别。
此外,可以获得物体识别的可靠度,并且可以根据所检测到的可靠度来改变级别。
这里,还根据在区域内拍摄到被摄体的图像的比例来进行级别设置。在被摄体图像的比例大的区域中,直接设置以上所获得的重要度级别,并且在被摄体图像的比例小的区域中,根据被摄体图像的比例来改变重要度级别。
<与拍摄场景相对应的重要度级别的设置>
通过分析图像数据来进行例如“蓝天场景”、“自然清新场景”和“夕景场景”的判断,并且基于这种场景判断信息来进行级别设置。
此外,关于与天空有关的场景判断,由于可以根据照相机的绝对角度信息来获得与照相机的倾斜有关的信息,因此在与重力方向垂直的方向的上方范围内所存在的图像中进行诸如“蓝天场景”和“夕景场景”等的与天空有关的判断。
首先,将所拍摄到的一帧的12位RAW数据分割成包括n×m(n和m是整数)个范围的块,并且计算各分割范围中的各个颜色R、G和B的像素的平均值。针对各块的R、G和B平均值进行包括白平衡校正处理、伽玛校正处理和颜色转换矩阵处理的临时显像处理。
通过计算画面内的上方范围中的蓝天块的比例,来进行“蓝天场景”的判断。通过在UV颜色空间上定义蓝天判断范围并且对落入该蓝天判断范围内的块进行计数,来进行蓝天块的判断。
通过计算画面内的上方范围中的夕景块的比例,来进行“夕景场景”的判断。
通过在UV颜色空间上定义夕景判断范围并且对落入该夕景判断范围内的块进行计数,来进行夕景块的判断。
通过检测画面内自然清新块相对于所有块的比例,来进行“自然清新场景”的判断。
通过在UV颜色空间上定义自然清新判断范围并且对落入该自然清新判断范围内的块进行计数,来进行自然清新块的判断。
参考图11来说明与场景检测信息相对应的重要度级别的设置。
假定场景在画面的右上范围中示出蓝天,在画面的左范围中示出建筑物,并且在画面的右下范围中示出自然清新。
通过在画面中进行场景判断来检测“蓝天场景”和“自然清新场景”,并且在区域1103中设置与蓝天范围识别相对应的级别,并在区域1107中设置与自然清新范围识别相对应的级别。
关于区域1102,由于蓝天块相对于该区域的比例约为40%,因此设置与蓝天范围识别相对应的级别的40%。关于区域1106,由于自然清新块相对于该区域的比例约为30%,因此设置与自然清新范围识别相对应的级别的30%。
尽管以上说明了使用颜色空间信息的场景判断方法,但还存在用于基于亮度值来判断场景的方法,其中采用“夜景场景”的判断作为示例来进行说明。
在“夜景场景”中,仅作为亮度信息的亮度极高的级别和亮度极低的级别分布在画面整体的直方图中的情况被判断为与夜景相对应。
此外,可以基于图像的亮度信号的高频成分使用对比度评价来判断点光源,并且可以使用亮度分布和点光源的检测结果来判断“夜景场景”。
预先登记“蓝天场景”、“夕景场景”、“自然清新场景”和“夜景场景”各自的重要度级别,并且根据所登记的重要度级别中的关联重要度级别来针对各区域进行与场景相对应的重要度级别的设置。
以上述方式,使用利用场景检测单元的检测结果来针对各区域计算被摄体的重要度级别,其中该场景检测单元用于使用与被摄体有关的颜色信息或与被摄体有关的亮度信息来检测场景。
<与语音信息相对应的重要度级别的设置>
通过分析语音信息数据来进行例如“语音方向”、“声级(语音级别)”和“语音识别”的判断,并且进行基于语音信息的重要度级别的设置。
参考图12的流程图来说明与语音信息相对应的重要度级别的设置。
在步骤S1201中,控制单元212判断语音获取单元是否获取到外部所产生的语音。如果判断为语音获取单元获取到语音(步骤S1201中为“是”),则处理进入步骤S1202。如果判断为语音获取单元没有获取到语音(步骤S1201中为“否”),则处理返回至步骤S1201。
在步骤S1202中,控制单元212使语音方向检测单元检测所获取到的语音的产生方向。在步骤S1203中,控制单元212检测声级。
在步骤S1204中,控制单元212使语音识别单元识别所获取到的语音。在步骤S1205中,控制单元212使语音识别单元判断所获取到的语音是否是语音识别所要使用的预定语音命令。如果判断为所获取到的语音是预定语音命令(步骤S1205中为“是”),则处理进入步骤S1206,其中在该步骤S1206中,控制单元212将语音识别级别Sc设置为“Ac1”。
如果判断为所获取到的语音不是预定语音命令(步骤S1205中为“否”),则处理进入步骤S1207,其中在该步骤S1207中,控制单元212将语音识别级别Sc设置为“0”。接着,在步骤S1208中,控制单元212判断所检测到的声级是否等于或大于预定值,并且如果判断为所检测到的声级等于或大于预定值(步骤S1208中为“是”),则处理进入步骤S1209,其中在该步骤S1209中,控制单元212将声级Ss设置为“Ac2”。
如果判断为所检测到的声级小于预定值(步骤S1208中为“否”),则处理进入步骤S1210,其中在该步骤S1210中,控制单元212将声级Ss设置为“0”。然后,处理进入步骤S1211,其中在该步骤S1211中,控制单元212根据步骤S1202中所检测到的声音方向来计算与如图6A~6D所示所定义的区域相对应的声音方向区域。
例如,考虑到声音方向识别误差,控制单元212将从所检测到的方向的角度起±45度的范围都确定为声音方向区域。
接着,在步骤S1212中,控制单元212将语音识别级别Sc和声级Ss相加到一起以计算总声级Sl,并且处理进入步骤S1213。
在步骤S1213中,控制单元212判断总声级Sl是否改变为比在前一采样时所获得的总声级Sl大的值。
如果判断为总声级Sl改变为更大的值(步骤S1213中为“是”),则处理进入步骤S1214,其中在该步骤S1214中,控制单元212将时间计数Xt设置为预定时间参数Ta,然后处理进入步骤S1215。
在步骤S1215中,控制单元212将级别Sl设置到步骤S1211中所设置的区域,然后处理返回至步骤S1201。
如果在步骤S1213中判断为总声级Sl改变为比在前一采样时所获得的总声级Sl小的值(步骤S1213中为“否”),则处理进入步骤S1216,其中在该步骤S1216中,控制单元212使预定时间参数Ta递减,然后处理进入步骤S1217。
在步骤S1217中,控制单元212判断时间Ta是否等于或小于“0”,并且如果判断为时间Ta等于或小于“0”(在级别Sl改变为更大值之后经过了时间Ta的情况下)(步骤S1217中为“是”),则在步骤S1218中,控制单元212将级别Sl设置为“0”,由此将步骤S1211中所设置的区域设置为“0”。
如果在步骤S1217中判断为时间Ta大于“0”(步骤S1217中为“否”),则处理进入步骤S1215,并且控制单元212将直到此时为止所计算的级别Sl作为与语音信息相对应的重要度级别而设置到语音方向的区域。
<与图像运动信息相对应的重要度级别的设置>
通过判断在通过如图6A~6D所示进行的区域分割所获得的各区域中是否存在运动被摄体,来进行与图像运动信息相对应的重要度级别的设置。
例如,针对各区域进行帧之间的差异的检测或帧之间的运动矢量的检测。
用于检测运动矢量的方法包括:将画面分割成多个范围,将预先存储的前一帧的图像和当前图像(两个连续图像)彼此进行比较,并且基于与图像的相对偏移量有关的信息来计算图像运动量。
这里,由于可以根据照相机绝对角度与从倾斜转动单元104和平摇转动单元105输出的转动位置之间的差异来获得镜筒(摄像面的光轴方向)的角度,因此可以根据帧之间的镜筒角度的差异来检测受到照相机角度的变化影响的图像模糊的运动矢量值。
在通过如图13A所示进一步对各区域进行分割所获得的范围1301中检测帧之间的移动像素,并且基于通过从所检测到的移动像素中减去受到照相机角度的变化影响的运动矢量值所获得的矢量信号来进行频度分布处理。
此外,在诸如低对比度的情况等的难以检测矢量的情况下,不能进行矢量的检测的块中的矢量信息没有反映在频度分布处理中。
在图13B和13C中示出频度分布示例。图13B示出在特定区域中不存在运动被摄体的情况下特定帧中的频度分布示例。
由于阈值1302的范围是矢量值小并且运动少的矢量范围,因此不使用在阈值1302的范围内所获得的矢量信息。
尽管在阈值1302以外的移动量超过频度阈值1303的情况下判断为在区域内存在运动被摄体,但由于在图13B的情况下阈值1302以外的移动量没有超过频度阈值1303,因此判断为在区域内不存在运动被摄体。
图13C示出在区域内存在运动被摄体的情况下特定帧中的频度分布示例。由于阈值1302的范围外的矢量移动量超过频度阈值1303,因此判断为在该区域内存在运动被摄体。
在判断为在过去的多个帧期间运动被摄体持续存在的情况下,设置了表示存在运动被摄体的重要度级别。
<与过去拍摄信息相对应的级别设置>
基于与过去拍摄有关的信息来进行重要度级别的设置。
照相机被配置为根据以下所述的方法来进行平摇和倾斜所用的驱动,以执行自动被摄体搜索。
在照相机根据正搜索的图像信息检测到自动拍摄触发的情况下,进行自动拍摄操作。例如,自动拍摄触发可以是诸如笑容等的人物的面部表情的检测,或者可以是以下所述的最终的被摄体的重要度级别的大小。
此外,操作员可以对照相机上所设置的释放开关(SW)进行操作,以手动开始拍摄操作。
在照相机完成拍摄操作的情况下,存储并管理过去拍摄信息。
首先,说明与各区域的过去拍摄信息相对应的级别设置。
在通过如图6A~6D所示进行的区域分割所获得的各区域中,存储并管理各区域中的拍摄张数。
在图14中示出用于管理各区域的过去拍摄信息的方法,其中在该方法中,针对利用纵轴表示的各区域和利用横轴表示的各时间来管理拍摄张数。
基于诸如图14所示等的各区域的过去拍摄信息来进行各区域的重要度级别的设置。列“当前时间~时间T1”表示在从当前时间起直到过去时间T1为止的时间段内所进行的拍摄的张数,并且例如假定其权重系数为“1”。
列“时间T1~时间T2”表示在从过去时间T1起直到过去时间T2为止的时间段内所进行的拍摄的张数,并且例如假定其权重系数为“0.8”。
列“时间T2~时间T3”表示在从过去时间T2起直到过去时间T3为止的时间段内所进行的拍摄的张数,并且例如假定其权重系数为“0.5”。
列“时间T3~时间T4”表示在从过去时间T3起直到过去时间T4为止的时间段内所进行的拍摄的张数,并且例如假定其权重系数为“0.2”。
将拍摄张数乘以各自的权重系数,并且将各个时间段的相乘结果相加到一起,由此计算出各区域的加权后的总拍摄张数。
区域Area1的总拍摄张数变为“0×1+0×0.8+0×0.5+2×0.2=0.4张”,并且区域Area3的总拍摄张数变为“3×1+4×0.8+2×0.5+0×0.2=7.2张”。
通过将各区域的总拍摄张数乘以级别系数(级别系数是负值,并且是以随着拍摄张数的增加而使重要度级别下降的方式设置的),来进行与各区域的过去拍摄信息相对应的级别设置。
此外,过去拍摄信息被反馈至例如<与人物信息相对应的重要度级别的设置>、<与物体识别信息相对应的重要度级别的设置>和<与场景相对应的重要度级别的设置>,并且还对各级别设置产生影响。
图15示出用于管理要被反馈至<与人物信息相对应的重要度级别的设置>的过去拍摄信息的表。
存储并管理作为个人登记所登记的各被摄体(Asan、Bsan、Csan、Dsan,...)的过去拍摄张数。
如参考图14所述的方法那样,在各时间段中设置权重系数,并且针对各登记被摄体计算总拍摄张数。
将通过将总拍摄张数乘以级别设置所用的级别系数而获得的结果与增益Ka相加,由此将过去拍摄信息反馈至<与人物信息相对应的级别设置>。
级别系数是负值,并且是以随着拍摄张数的增加而使级别下降的方式设置的。此外,增益Ka是以不会变得等于或小于“0”的方式设置的。
图16示出用于管理要被反馈至<与物体识别信息相对应的重要度级别的设置>的过去拍摄信息的表。存储并管理各登记被摄体(狗、猫、...)的过去拍摄张数。
如参考图14所述的方法那样,在各时间段中设置权重系数。
针对各登记被摄体计算总拍摄张数,并且将通过使总拍摄张数乘以级别设置所用的级别系数而获得的结果与对应于各被摄体的级别设置相加,由此将过去拍摄信息反馈至<与物体识别信息相对应的重要度级别的设置>。
级别系数是负值,并且是以随着拍摄张数的增加而使级别下降的方式设置的。此外,与各被摄体相对应的重要度级别是以不会变得等于或小于“0”的方式设置的。
图17示出用于管理要被反馈至<与场景相对应的重要度级别的设置>的过去拍摄信息的表。
存储并管理各场景(蓝天、夕景、自然清新、夜景、…)的过去拍摄张数。
如参考图14所述的方法那样,在各时间段中设置权重系数。
针对各登记被摄体计算总拍摄张数,并且将通过使该总拍摄张数乘以级别设置所用的级别系数而获得的结果与对应于各被摄体的级别设置相加,由此将过去拍摄信息反馈至<与场景相对应的级别设置>。
级别系数是负值,并且是以随着拍摄张数的增加而使级别下降的方式设置的。此外,与各场景相对应的重要度级别是以不会变得等于或小于“0”的方式设置的。
<根据未搜索时间的重要度级别的设置>
进行与从通过如图6A~6D所示的区域分割所获得的各区域中的最后搜索起的经过时间相对应的重要度级别的设置。
图18是示出该处理的流程图。在开始该处理的情况下,在步骤S1801中,控制单元212获取当前的平摇和倾斜位置,然后处理进入步骤S1802。
在步骤S1802中,控制单元212获取在以上参考图6A~6D所述的方法中所计算出的照相机绝对角度,然后处理进入步骤S1803。
在步骤S1803中,控制单元212根据步骤S1801中所获取到的平摇和倾斜位置以及步骤S1802中所获取到的照相机绝对角度来计算镜筒102的绝对角度,然后处理进入步骤S1804。
在步骤S1804中,控制单元212将“1”代入作为循环计算所用的变量的“Area”,然后处理进入步骤S1805。
在步骤S1805中,控制单元212判断通过对镜筒102的绝对角度进行微分处理所计算出的绝对角速度是否在预定速度内,并且在通过如图6A~6D所示进行的区域分割所获得的各区域中定义了区域编号的情况下,控制单元212判断变量Area是否与视场角内所包括的区域其中之一的区域编号相对应。
如果判断为变量Area与视场角内所包括的区域相对应、并且镜筒绝对角速度是使得能够检测到各被摄体的速度(考虑到摄像延迟和检测时间延迟,直到从图像中检测到被摄体为止所需的延迟时间处于预定值内所依据的速度)(步骤S1805中为“是”),则处理进入步骤S1806。
在步骤S1806中,控制单元212将与当前变量Area的未搜索时间相对应的重要度级别设置为“0”,然后处理进入步骤S1808。
如果在步骤S1805中判断为变量Area未与视场角内所包括的区域相对应、或者镜筒绝对角速度大于预定角速度(步骤S1805中为“否”),则处理进入步骤S1807。
在步骤S1807中,控制单元212使当前变量Area的时间级别递增,然后处理进入步骤S1808。在步骤S1808中,控制单元212使变量Area递增,然后处理进入步骤S1809。在步骤S1809中,控制单元212判断变量Area是否大于总区域数量,并且如果判断为变量Area大于总区域数量(步骤S1809中为“是”),则处理结束。
如果判断为变量Area等于或小于总区域数量(步骤S1809中为“否”),则处理返回至步骤S1805,使得控制单元212重复步骤S1805~S1809的处理。
在上述方法中,针对各区域设置与未搜索时间相对应的重要度级别。
由于各区域的时间级别根据从在区域中最后进行被摄体的搜索时起的经过时间(区域的未搜索时间)而变得更大,因此如果存在长时间尚未进行搜索的区域,则该区域的重要度级别上升,由此通过平摇和倾斜来开始该区域中的搜索。
<根据照相机的振动状态的重要度级别的设置>
控制单元212根据用作包括振动检测单元的摄像设备的照相机的振动状态来进行重要度级别的设置。
控制单元212基于步骤S308中所计算出的照相机状态的判断结果,来判断照相机的振动状态(车辆移动状态、放置拍摄状态或手持状态)。
在照相机振动状态是“放置拍摄状态”的情况下,由于正确地进行了照相机绝对角度计算、并且各区域的重要度级别的计算的可靠度高,因此控制单元212直接使用直到此时为止所计算出的各区域的被摄体的重要度级别来进行被摄体搜索控制。
在振动检测单元所检测到的照相机振动状态是“车辆移动状态”的情况下,由于移动速度高,因此尽管乘坐在车辆中的人的区域的变化小,但诸如风景等的被摄体时刻改变。
因此,在车辆移动状态的情况下,控制单元212直接使用<与人物信息相对应的重要度级别的设置>中的重要度级别,但不使用<与图像运动信息相对应的重要度级别的设置>中的重要度级别。
此外,由于<与场景相对应的重要度级别的设置>或<与物体信息识别相对应的重要度级别的设置>更有可能快速地改变,因此控制单元212使重要度级别下降。
然而,在自动拍摄操作中,例如,可以设计用于在检测到被摄体时立即进行拍摄的方法。控制单元212直接使用<与语音信息相对应的重要度级别的设置>或<与过去拍摄信息相对应的重要度级别的设置>中的重要度级别。
此外,控制单元212还可以进行以下的计算操作:例如,检测照相机的移动方向,利用例如加速度传感器检测高速移动的方向,并且预先使位于移动方向上的区域的重要度级别上升。
在照相机的振动状态是“手持状态”(模糊振动大的状态)的情况下,操作员有可能对照相机的方向进行操作。
因此,在从照相机正位置(倾斜角度和平摇角度为0度)起±45度的范围的区域中,控制单元212使重要度级别增大。
然后,控制单元以如下方式设置各区域的重要度级别:在±45度~±90度的范围的区域中,使重要度级别下降,并且在远离±90度的范围的区域中,使重要度级别进一步下降。
控制单元212可以采用针对各区域使重要度级别递增的方法,或者可以采用根据范围来对针对各区域所计算出的重要度级别进行加权的方法。
在±45的范围的区域中将权重系数设置为1,在±45度~±90度的范围的区域中将权重系数设置为小于1,并且在远离±90度的范围的区域中将权重系数设置为更小的值。
根据上述方法,控制单元212基于照相机的振动状态来改变各重要度级别计算,并且进行与各振动状态相对应的被摄体搜索。
控制单元212使用用于检测摄像设备的振动状态的振动检测单元所检测到的振动状态,来改变针对各个区域所设置的被摄体的重要度级别的权重。
控制单元212将以上述方法所获得的各区域中的重要度级别相加到一起。
控制单元212将以下的重要度级别相加到一起:与人物信息相对应的重要度级别;与物体识别信息相对应的重要度级别;与场景相对应的重要度级别;与语音信息相对应的重要度级别;与图像运动信息相对应的重要度级别;与过去拍摄信息相对应的重要度级别;以及与未搜索时间相对应的重要度级别。
控制单元212使用该相加结果来计算被摄体的重要度级别,然后处理进入步骤S313。
在步骤S313中,控制单元212基于各区域的被摄体的重要度级别来计算平摇和倾斜搜索的目标角度,然后处理进入步骤S314。采用以下方法来计算平摇和倾斜搜索的目标角度。
首先,控制单元212基于各区域和与该区域邻接的区域中的被摄体的重要度级别来计算搜索用最终级别。
基于与图19A所示的区域1901及其周围区域(1902、1903、1904、1905、1906、1907、1908和1909)有关的信息来计算该区域1901中的搜索用最终级别。
然后,控制单元212将区域1901的权重系数设置为“1”,将其它区域的权重系数设置为等于或小于“1”(例如,“0.5”),将各个区域的被摄体的重要度级别乘以关联的权重系数,并且将在所有区域中所获得的计算值相加到一起,由此计算搜索用最终级别。
控制单元212针对所有区域进行该计算,由此计算出各区域中的搜索用最终级别。
接着,控制单元212将搜索用最终级别最大的区域设置为搜索目标区域。
在搜索目标区域是图19A和19B所示的区域1901的情况下,控制单元212根据以下的公式(5),基于区域1901~1909的搜索用最终级别和区域1901~1909的中心角度来计算平摇和倾斜搜索目标角度y。
其中:n是区域1901~1909的数量(9),i是将区域1901~1909定义为“1”~“9”的变量,b是各区域的中心角度,以及a是各区域的搜索用最终级别。
控制单元212通过计算基于如上所述计算出的区域1901~1909之间的搜索用最终级别的角度的重心位置y(y是在倾斜方向和平摇方向各自上计算出的),来计算平摇和倾斜搜索目标角度y。
此外,在各区域中的搜索用最终级别的所有值都等于或小于预定阈值的情况下,由于判断为即使在对这些区域进行搜索时也不存在重要被摄体,因此控制单元212被配置为不进行平摇和倾斜驱动。
此时,控制单元212基于在除<与过去拍摄信息相对应的级别设置>以外的条件下所计算出的被摄体重要度来计算目标角度。
然后,在进行平摇和倾斜驱动到目标角度之后,控制单元212使照相机保持于该角度位置,直到各区域的搜索用最终级别中的任一搜索用最终级别变得大于预定阈值为止。
控制单元212以上述方式计算平摇和倾斜搜索目标角度,然后处理进入步骤S314。
在步骤S314中,控制单元212基于步骤S306中所获得的图像模糊校正量以及步骤S313中所获得的平摇和倾斜搜索目标角度来计算平摇和倾斜驱动量。
控制单元212通过将图像模糊校正量与基于平摇和倾斜搜索目标角度的控制采样所用的驱动角度相加,来计算平摇和倾斜驱动量(计算平摇所用的驱动角度和倾斜所用的驱动角度这两者),然后处理进入步骤S315。
在步骤S315中,控制单元212使镜筒旋转驱动单元213根据倾斜和平摇所用的驱动角度来分别控制倾斜转动单元104和平摇转动单元105的驱动,然后处理进入步骤S316。
控制单元212通过在步骤S315中控制倾斜转动单元104和平摇转动单元105的驱动,来改变要搜索被摄体的拍摄图像的视场角的中心位置。
控制单元212也可以采用用于剪切拍摄图像的特定部分以改变该拍摄图像的视场角的中心位置的另一方法。
在步骤S316中,控制单元212判断是否通过针对操作单元211所进行的操作手动发出了拍摄指示,并且如果判断为手动发出了拍摄指示(步骤S316中为“是”),则处理进入步骤S319。
然后,在步骤S319中,控制单元212开始拍摄以拍摄静止图像,并且将拍摄图像记录在图像记录单元207上。如果在步骤S316中判断为没有手动发出拍摄指示(步骤S316中为“否”),则处理进入步骤S317,其中在该步骤S317中,控制单元212进行自动拍摄判断处理。
在步骤S317的自动拍摄判断处理中,如果直到步骤S315为止所获得的各区域的重要度级别中的被摄体的重要度级别超过预定值,则判断为自动拍摄操作被设置为ON(开启)。
可选地,即使在被摄体的重要度级别没有超过预定值的情况下,也可以基于所检测到的面部的笑容程度来进行自动拍摄判断,或者可以基于所检测到的多个面部之间的距离的接近度来进行自动拍摄判断。
此外,如果检测到过去没有被摄像的物体(例如,狗或猫)或者场景(例如,蓝天、夕景、夜景或自然清新),则可以进行自动拍摄判断。在步骤S317中进行自动拍摄判断之后,处理进入步骤S318。
如果在步骤S318中判断为自动拍摄判断的结果是自动拍摄操作为ON(步骤S318中为“是”),则处理进入步骤S319,其中在该步骤S319中,控制单元212开始静止图像的拍摄。
如果在步骤S318中判断为自动拍摄判断的结果是自动拍摄操作为OFF(关闭)(步骤S318中为“否”),则处理返回至步骤S302,使得控制单元212重复自动被摄体搜索和自动拍摄处理。
在步骤S319中进行静止图像拍摄之后,处理进入步骤S320,其中在该步骤S320中,控制单元212基于在步骤S319中进行的拍摄时所获得的被摄体信息或拍摄视场角内的区域信息,来改变进行自动被摄体搜索所使用的参数。
在过去拍摄信息的管理中,如参考图13A~13C-图16所述,例如,根据时间来管理拍摄图像的分析或者拍摄时所获得的区域信息。
尽管说明了静止图像的拍摄时的管理作为示例,但即使在运动图像的拍摄的情况下,也可以以相同的方式来管理自动拍摄或过去拍摄信息。
在运动图像的情况下,基于与例如拍摄运动图像的过程中的被摄体检测或拍摄区域有关的拍摄信息,来管理过去拍摄信息。
在步骤S320中更新过去拍摄信息之后,处理返回至步骤S302,使得控制单元212重复自动被摄体搜索和自动拍摄处理。
根据上述的第一典型实施例的方法,重复地进行自动被摄体搜索和自动拍摄。
此时,对照相机设置于原点的空间坐标中的角度范围进行区域分割,并且针对通过区域分割所获得的各区域计算被摄体的重要度级别。
在本典型实施例中,使用用于基于针对各区域所计算出的被摄体的重要度级别来改变拍摄图像的视场角的中心位置的改变单元,来改变要搜索被摄体的拍摄图像的视场角的中心位置。
因此,可以重点搜索被摄体的重要度级别高的区域,由此不必在始终进行大幅的平摇和倾斜的同时进行搜索。
此外,将拍摄信息(例如,拍摄图像的被摄体的面部识别或物体识别、或者场景)反馈至被摄体的重要度级别的计算,由此可以全面地进行自动拍摄。
因此,可以进行无用操作少的自动被摄体搜索和自动拍摄,由此可以实现快速被摄体搜索效果和省电效果。
尽管在第一典型实施例(图6A~6D)中说明了按22.5度的角度进行区域分割的示例,但在第二典型实施例中,考虑照相机焦距长且拍摄视场角窄的情况。
在这种情况下,如果区域分割角度过大,则根据拍摄图像进行判断可使用的范围相对于区域范围变窄,使得将难以根据图像中所包括的信息来进行被摄体搜索。
在多数情况下,焦距变大包括如下情况:到要拍摄的被摄体的距离变大。
因此,控制单元212根据焦距来改变各区域的大小。例如,控制单元212进行如下设置:各区域的大小(角度范围)变为垂直视场角的1/2。
在垂直视场角为45度的情况下,控制单元212按22.5度进行区域分割(图20A),并且在垂直视场角为22度的情况下,控制单元212按11度进行区域分割(图20B)。
在垂直视场角为10度的情况下,控制单元212按5度进行区域分割,由此便于拍摄所使用的视场角内的区域判断。
在实际使用中,例如,首先,控制单元212如图20A所示进行区域分割,从而在广角侧进行粗略被摄体搜索(垂直视场角为45度并且各区域的大小为22.5度)。
此时,控制单元212没有限制被摄体搜索范围,并且在±180度的范围内进行被摄体搜索。在此时发现适当被摄体的情况下,控制单元212进行自动拍摄和追踪操作。
如果判断为自动搜索到的区域中的被摄体距离长、并且最好增大焦距以拍摄适当被摄体,则控制单元212通过推摄(zoom up)来增大焦距,然后再次进行被摄体搜索。
此时,控制单元212同时减小各区域的大小(垂直视场角为22度并且各区域的大小为11度),并且限制搜索范围。
例如,假定将进行粗略搜索时所使用的视场角设置为搜索范围。在图20A和20B所示的示例中,搜索范围是在广角侧以针对被摄体搜索所设置的角度2001为中心的±22.5度的范围。
在限制搜索范围之后,控制单元212在缩小区域内再次进行被摄体搜索,根据相同方法在缩小区域中计算被摄体的重要度级别,基于所计算出的被摄体的重要度级别来将平摇和倾斜机械地驱动至目标角度,进行被摄体搜索,并且进行自动拍摄和追踪操作。
如上所述,在根据第二典型实施例的方法中,基于由焦距的变化引起的拍摄视场角的大小来改变通过区域分割所获得的各区域的大小,由此可以进行与拍摄视场角相对应的适当的自动被摄体搜索。
在第三典型实施例中,搜索设备还可以应用于使用多个广角镜头来一次拍摄全方位图像的摄像系统(以下称为“全方位照相机”)。
全方位照相机还针对照相机设置于原点的绝对空间坐标中的各角度范围进行区域分割,并且针对通过区域分割所获得的各区域计算被摄体的重要度级别。
然后,全方位照相机根据各区域的被摄体的重要度级别来设置要进行用于在图像中检测被摄体的图像处理的区域,由此使得能够通过缩短图像处理来减少电力消耗并进行高速被摄体搜索。
被摄体搜索设备包括绝对角度计算单元,其中该绝对角度计算单元用于基于从用于检测摄像设备的振动的振动检测单元所输出的振动量,来计算摄像设备的绝对角度。
分割单元使用绝对角度来针对绝对空间坐标中的各角度范围进行区域分割。
被摄体搜索设备包括用于判断绝对角度的可靠度的判断单元。
在判断单元判断为绝对角度的可靠度低于预定值的情况下,被摄体搜索设备对分割单元所进行的分割的结果进行初始化,并且再次计算针对绝对空间坐标中的各角度范围的面积。
<失真校正和射影变换>
全方位照相机针对通过各镜头光学系统所拍摄到的各图像,基于预定的射影模型来进行失真校正和射影变换。
然后,全方位照相机进行用于基于图像的重叠部分来接合图像以生成全方位图像的处理。全方位照相机还通过从所拍摄到的全方位图像(图21A)中提取部分图像范围(图21B),来获取被摄体被放大的图像。
这里,说明用于使用全方位照相机来基于与被摄体有关的检测信息进行自动拍摄的系统中的被摄体搜索方法。
利用全方位照相机以全视场角(360度)所拍摄到的图像是采用例如等距圆柱投影(球面投影)方法所生成的,并且如图22A所示。
这里,全方位照相机进行被摄体检测处理所用的输入图像的调整大小。
在例如输入图像包括4000×3000个像素的情况下,如果针对所有的像素进行处理,则诸如被摄体检测所用的处理等的处理需要极大量的处理。
在被摄体检测处理中,通过使分辨率缩小为仅获取图像的特征可利用的分辨率、并且对缩小图像进行处理,来减少整体的处理量。
这里,尽管没有规定缩小算法或缩小分辨率,但缩小成例如视频图形阵列(VGA)大小(640×480个像素)是有效的。
然而,在全方位照相机中,由于视场角非常大,因此被摄体(例如,面部)的大小容易变小,并且如果在视场角整体中进行被摄体检测处理,则难以精确地检测到被摄体(例如,面部)。
因此,全方位照相机对区域范围进行区域分割,并且针对通过区域分割所获得的各区域进行被摄体检测处理。
首先,全方位照相机在具有640×480个像素的图22A所示的图像中进行例如粗略被摄体检测或场景判别。
由于如图22A所示在画面的上方范围中示出蓝天,因此判断为图像是蓝天场景,并且还在如图22B所示精细地设置的各区域中设置蓝天场景中的被摄体的重要度级别。
此外,如果示出了大小具有使得能够检测诸如图22C所示的2201或2202等的面部的像素的面部(被摄体),则针对图22B所示的区域中的示出面部的各区域进行面部被摄体级别设置。
以相同方式,全方位照相机根据第一典型实施例所述的方法,在图22A所示的图像中进行诸如自然清新场景的检测或物体检测等的被摄体判断。
接着,全方位照相机基于针对在图22A所示的图像中判断出的图22B所示的各区域的被摄体的重要度级别,通过读出(具有640×480个像素的)拍摄图像的部分范围,来获取检测被摄体所使用的图像。
此时,针对诸如范围2203或2204等的对比度小的范围,判断为:即使读出拍摄图像的部分范围并且对该部分范围进行精细被摄体检测,也不存在找到特征被摄体的可能性。
因此,没有读出范围2203和2204的这类范围,并且在这些范围中没有再次进行各区域的被摄体的重要度级别的计算。
针对诸如范围2205等的已检测到诸如面部等的重要被摄体的范围、或者诸如范围2206等的颜色或亮度的分散大并且有可能检测到某种被摄体的范围,全方位照相机读出拍摄图像的部分范围并且再次进行精细被摄体检测。
例如,全方位照相机在范围2205中再次进行被摄体检测处理,并且如果所检测到的人物2202是通过面部认证所登记的人物,则全方位照相机使针对该关联区域的被摄体的重要度级别上升。
最终,在判断为被摄体的重要度级别最大的范围是范围2205的情况下,全方位照相机进入拍摄等待状态,并且在包括范围2205及其附近的图像范围中顺次进行被摄体检测。
然后,全方位照相机根据例如人物的面部表情的变化(例如,笑容程度)的大小来进行自动拍摄,并且根据与第一典型实施例中的方法相同的方法来将自动拍摄的结果反馈至各区域的被摄体的重要度级别的计算。
然后,全方位照相机基于更新后的各区域的被摄体的重要度级别来设置要进行被摄体检测处理的范围,读出拍摄图像的部分范围以精细地进行被摄体检测,并且重复被摄体搜索和自动拍摄。
根据上述方法,全方位照相机还针对照相机设置于原点的空间坐标中的各角度范围进行区域分割,并且针对通过区域分割所获得的各区域计算被摄体的重要度级别。
被摄体搜索设备包括全方位拍摄可利用的摄像光学系统和用于从全方位图像中剪切拍摄图像的特定部分的改变单元。
然后,被摄体搜索设备根据各区域的被摄体的重要度级别来设置要在图像内进行被摄体检测的区域,由此使得能够通过图像处理来减少电力消耗并且进行高速被摄体搜索。
还可以采用以下方式来实现本发明的各方面。将用于存储软件的程序代码的存储介质供给至系统或设备,其中在该软件的程序代码中,写入有用于实现上述各典型实施例的功能的过程。然后,该系统或设备的计算机(可选地,中央处理单元(CPU)或微处理单元(MPU))读出并执行存储介质中所存储的程序代码。
在这种情况下,从存储介质读出的程序代码自身实现了本发明的新颖功能,并且存储有该程序代码的存储介质和程序构成本发明。
此外,用于供给程序代码的存储介质的示例包括软盘、硬盘、光盘和磁光盘。此外,例如,还可以使用CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-R、磁带、非易失性存储卡和ROM。
另外,使计算机所读出的程序代码可执行,这使得能够实现上述各典型实施例的功能。此外,例如,在计算机上运行的操作系统(OS)可以基于程序代码的指令来进行实际处理的一部分或全部,并且可以通过该处理来实现上述各典型实施例的功能。
此外,还可以进行以下操作。首先,将从存储介质读出的程序代码写入插入至计算机中的功能扩展板或连接至计算机的功能扩展单元内所包括的存储器中。然后,例如,该功能扩展板或功能扩展单元中所包括的CPU基于程序代码的指令来进行实际处理的一部分或全部。
此外,本发明不仅可以应用于诸如数字照相机等的主要用来摄像的设备,而且还可应用于内置有或从外部连接有摄像设备的可选设备,诸如移动电话、个人计算机(例如,笔记本型、桌面型或平板型)和游戏机等。因此,在本说明书的上下文中的术语“摄像设备”意图涉及具有摄像功能的可选电子设备。
还可以通过以下操作来实现本发明:将用于实现上述典型实施例的一个或多个功能的程序经由网络或存储介质供给至系统或设备,并且使该系统或设备的计算机中的一个或多个处理器读出并执行该程序。此外,本发明还可以利用实现一个或多个功能的电路(例如,专用集成电路(ASIC))来实现。
本发明不仅可以应用于利用数字照相机或数字静态照相机的摄像,而且还可以应用于例如监视照相机、web照相机或移动电话等的摄像设备。
根据本发明的被摄体搜索设备,在不存在特征被摄体的情况下或者针对已进行了摄像的被摄体,进行被摄体搜索操作所用的驱动的必要性变小,使得可以实现快速被摄体搜索和省电效果。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (19)
1.一种搜索设备,包括:
分割部件,用于针对摄像设备被设置为原点的空间坐标中的各角度范围进行区域的分割;
计算部件,用于针对通过分割所获得的各所述区域,来计算被摄体的重要度级别;以及
改变部件,用于基于针对各所述区域所计算出的被摄体的重要度级别,来改变要搜索被摄体的拍摄图像的视场角的中心位置,
其中,所述改变部件将所述视场角的中心位置改变为多个所述区域中的被摄体的重要度级别最大的区域,以及
其中,所述改变部件基于多个所述区域中的被摄体的重要度级别最大的区域的被摄体的重要度级别、以及与被摄体的重要度级别最大的区域邻接的区域的被摄体的重要度级别来计算重心位置,并且将所述视场角的中心位置改变为所述重心位置。
2.根据权利要求1所述的搜索设备,其中,在多个所述区域的被摄体的重要度级别全部小于预定阈值的情况下,所述改变部件不改变所述拍摄图像的所述视场角的中心位置。
3.根据权利要求1所述的搜索设备,其中,所述计算部件使用与被摄体有关的信息,针对通过分割所获得的各所述区域来计算被摄体的重要度级别。
4.根据权利要求1所述的搜索设备,其中,所述计算部件使用与被摄体有关的信息,针对各所述区域来计算被摄体的重要度级别,其中该信息包括面部的可靠度、与面部表情有关的检测信息和个人认证所用的登记信息至少之一。
5.根据权利要求1所述的搜索设备,其中,所述计算部件使用预先被登记为与被摄体有关的信息的物体识别,针对各所述区域来计算被摄体的重要度级别。
6.根据权利要求1所述的搜索设备,其中,所述计算部件使用场景检测部件的检测结果,针对各所述区域来计算被摄体的重要度级别,其中所述场景检测部件用于使用与被摄体有关的颜色信息或与被摄体有关的亮度信息来检测场景。
7.根据权利要求1所述的搜索设备,其中,所述计算部件使用用于检测被摄体的运动矢量的运动检测部件所检测到的运动矢量,针对各所述区域来计算被摄体的重要度级别。
8.根据权利要求1所述的搜索设备,其中,所述计算部件使用与被摄体有关的信息,针对各所述区域来计算被摄体的重要度级别,其中该信息包括语音方向、语音级别和语音识别至少之一。
9.根据权利要求1所述的搜索设备,其中,所述计算部件使用与过去拍摄张数有关的信息,针对各所述区域来计算被摄体的重要度级别,其中该信息包括过去拍摄张数、预先设置的针对个人认证所登记的被摄体的过去拍摄张数、预先设置的物体识别信息的过去拍摄张数和预先设置的场景的过去拍摄张数至少之一。
10.根据权利要求1所述的搜索设备,其中,所述计算部件使用从各所述区域的最后搜索起的经过时间,针对各所述区域来计算被摄体的重要度级别。
11.根据权利要求1所述的搜索设备,其中,所述计算部件使用用于检测所述摄像设备的振动状态的振动检测部件所检测到的振动状态,来计算针对各所述区域所设置的被摄体的重要度级别的权重。
12.根据权利要求1所述的搜索设备,其中,所述改变部件通过使所述摄像设备的光轴绕与所述摄像设备的光轴垂直的轴机械地转动,来改变所述拍摄图像的所述视场角的中心位置。
13.根据权利要求1所述的搜索设备,其中,还包括变焦部件,所述变焦部件用于通过驱动摄像光学系统的变焦透镜来进行光学变倍,
其中,所述改变部件根据与所述变焦透镜的位置相对应的拍摄视场角,来改变所述分割部件所获得的各所述区域的大小。
14.根据权利要求1所述的搜索设备,其中,所述改变部件剪切所述拍摄图像的特定部分,以改变所述拍摄图像的所述视场角的中心位置。
15.根据权利要求1所述的搜索设备,其中,还包括摄像光学系统,所述摄像光学系统能够用于拍摄全方位图像,
其中,所述改变部件从所述全方位图像中剪切所述拍摄图像的特定部分。
16.根据权利要求1所述的搜索设备,其中,还包括绝对角度计算部件,所述绝对角度计算部件用于根据从用于检测所述摄像设备的振动的振动检测部件所输出的振动量,来计算所述摄像设备的绝对角度,
其中,所述分割部件使用所述绝对角度,针对所述空间坐标中的各角度范围进行区域的分割。
17.根据权利要求16所述的搜索设备,其中,还包括判断部件,所述判断部件用于判断所述绝对角度的可靠度,
其中,在所述判断部件判断为所述绝对角度的可靠度低于预定值的情况下,所述分割部件对分割结果进行初始化并且再次计算各角度范围的面积。
18.一种摄像设备,包括:
根据权利要求1至17中任一项所述的搜索设备;以及
图像传感器。
19.一种搜索方法,包括以下步骤:
针对摄像设备被设置为原点的空间坐标中的各角度范围进行区域的分割;
针对通过分割所获得的各所述区域,来计算被摄体的重要度级别;以及
基于针对各所述区域所计算出的被摄体的重要度级别,来改变要搜索被摄体的拍摄图像的视场角的中心位置,
其中,将所述视场角的中心位置改变为多个所述区域中的被摄体的重要度级别最大的区域,以及
其中,基于多个所述区域中的被摄体的重要度级别最大的区域的被摄体的重要度级别、以及与被摄体的重要度级别最大的区域邻接的区域的被摄体的重要度级别来计算重心位置,并且将所述视场角的中心位置改变为所述重心位置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-183797 | 2016-09-21 | ||
JP2016183797A JP6765917B2 (ja) | 2016-09-21 | 2016-09-21 | 探索装置及び、その撮像装置及び、探索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107862243A CN107862243A (zh) | 2018-03-30 |
CN107862243B true CN107862243B (zh) | 2021-10-19 |
Family
ID=61620487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710859194.4A Active CN107862243B (zh) | 2016-09-21 | 2017-09-21 | 搜索设备、包括该搜索设备的摄像设备和搜索方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10482342B2 (zh) |
JP (1) | JP6765917B2 (zh) |
CN (1) | CN107862243B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018116537A (ja) * | 2017-01-19 | 2018-07-26 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10373332B2 (en) * | 2017-12-08 | 2019-08-06 | Nvidia Corporation | Systems and methods for dynamic facial analysis using a recurrent neural network |
JP7204351B2 (ja) * | 2018-06-13 | 2023-01-16 | キヤノン株式会社 | 表示制御装置、表示制御装置の制御方法、及び、プログラム |
JP7195782B2 (ja) * | 2018-06-27 | 2022-12-26 | キヤノン株式会社 | 情報処理装置、制御方法及びプログラム |
JP2020072457A (ja) * | 2018-11-02 | 2020-05-07 | ソニー株式会社 | 映像処理装置、映像処理方法、およびプログラム |
CN112997214B (zh) * | 2018-11-13 | 2024-04-26 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN111263191B (zh) * | 2018-11-30 | 2023-06-27 | 中兴通讯股份有限公司 | 视频数据的处理方法、装置、相关设备及存储介质 |
JP7222683B2 (ja) * | 2018-12-06 | 2023-02-15 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP7262997B2 (ja) * | 2018-12-27 | 2023-04-24 | キヤノン株式会社 | 制御装置、撮像装置、および、プログラム |
JP7242320B2 (ja) | 2019-01-31 | 2023-03-20 | キヤノン株式会社 | 撮像装置、制御方法およびプログラム |
US12058433B2 (en) | 2019-12-17 | 2024-08-06 | Nec Corporation | Image processing method |
JP7500194B2 (ja) * | 2019-12-27 | 2024-06-17 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2022070684A (ja) * | 2020-10-27 | 2022-05-13 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラム |
JP2022086195A (ja) * | 2020-11-30 | 2022-06-09 | キヤノン株式会社 | 撮像装置、電子機器およびそれらの制御方法 |
US12096125B1 (en) * | 2020-12-10 | 2024-09-17 | Oceanit Laboratories, Inc. | High-speed and high-resolution wide field scanning optics |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102256098A (zh) * | 2010-05-18 | 2011-11-23 | 宝利通公司 | 具有多个语音跟踪摄像机的视频会议端点 |
CN103329520A (zh) * | 2011-03-25 | 2013-09-25 | 奥林巴斯株式会社 | 图像处理装置 |
CN103945116A (zh) * | 2013-01-23 | 2014-07-23 | 三星电子株式会社 | 用于在具有相机的移动终端中处理图像的设备和方法 |
CN105611230A (zh) * | 2014-11-19 | 2016-05-25 | 佳能株式会社 | 图像处理装置及图像处理方法 |
CN105791673A (zh) * | 2015-01-09 | 2016-07-20 | 佳能株式会社 | 曝光控制设备及其控制方法和摄像设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1178467C (zh) * | 1998-04-16 | 2004-12-01 | 三星电子株式会社 | 自动跟踪运动目标的方法和装置 |
JP2001268425A (ja) | 2000-03-16 | 2001-09-28 | Fuji Photo Optical Co Ltd | 自動追尾装置 |
JP4185751B2 (ja) | 2002-10-03 | 2008-11-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
US7593057B2 (en) * | 2004-07-28 | 2009-09-22 | Microsoft Corp. | Multi-view integrated camera system with housing |
JP5733088B2 (ja) * | 2011-08-01 | 2015-06-10 | 大日本印刷株式会社 | 動画提示装置 |
-
2016
- 2016-09-21 JP JP2016183797A patent/JP6765917B2/ja active Active
-
2017
- 2017-09-19 US US15/709,179 patent/US10482342B2/en active Active
- 2017-09-21 CN CN201710859194.4A patent/CN107862243B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102256098A (zh) * | 2010-05-18 | 2011-11-23 | 宝利通公司 | 具有多个语音跟踪摄像机的视频会议端点 |
CN103329520A (zh) * | 2011-03-25 | 2013-09-25 | 奥林巴斯株式会社 | 图像处理装置 |
CN103945116A (zh) * | 2013-01-23 | 2014-07-23 | 三星电子株式会社 | 用于在具有相机的移动终端中处理图像的设备和方法 |
CN105611230A (zh) * | 2014-11-19 | 2016-05-25 | 佳能株式会社 | 图像处理装置及图像处理方法 |
CN105791673A (zh) * | 2015-01-09 | 2016-07-20 | 佳能株式会社 | 曝光控制设备及其控制方法和摄像设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107862243A (zh) | 2018-03-30 |
US20180082144A1 (en) | 2018-03-22 |
US10482342B2 (en) | 2019-11-19 |
JP2018050146A (ja) | 2018-03-29 |
JP6765917B2 (ja) | 2020-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107862243B (zh) | 搜索设备、包括该搜索设备的摄像设备和搜索方法 | |
EP1748378B1 (en) | Image capturing apparatus and image capturing method | |
TWI386056B (zh) | A composition determination means, a composition determination method, and a composition determination program | |
JP4254873B2 (ja) | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム | |
US8068164B2 (en) | Face recognition auto focus apparatus for a moving image | |
JP5099488B2 (ja) | 撮像装置、顔認識方法およびそのプログラム | |
JP4586709B2 (ja) | 撮像装置 | |
JP4553384B2 (ja) | 撮像装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
US10659676B2 (en) | Method and apparatus for tracking a moving subject image based on reliability of the tracking state | |
US20090256925A1 (en) | Composition determination device, composition determination method, and program | |
JP2007081682A (ja) | 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム | |
JP2020061761A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP4669150B2 (ja) | 主被写体推定装置及び主被写体推定方法 | |
CN105744179A (zh) | 摄像装置、摄像控制方法 | |
US12052505B2 (en) | Image capturing apparatus, method of controlling same, storage medium | |
JP2018007272A (ja) | 画像処理装置、撮像装置およびプログラム | |
US11394877B2 (en) | Control apparatus, image pickup apparatus, and control method | |
JP2019134204A (ja) | 撮像装置 | |
US20230403466A1 (en) | Image capturing apparatus, control method thereof, and storage medium | |
JP5088612B2 (ja) | 撮像装置、撮像装置の処理実行方法及びそのプログラム | |
US20230269479A1 (en) | Image pickup apparatus that performs automatic shooting, control method therefor, and storage medium | |
US20230215034A1 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
JP2022069993A (ja) | 撮像装置、その制御方法 | |
JP2023085196A (ja) | 駆動制御装置、撮像装置、及び制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |