CN107925719B - 摄像装置、摄像方法、及非暂时性记录介质 - Google Patents

摄像装置、摄像方法、及非暂时性记录介质 Download PDF

Info

Publication number
CN107925719B
CN107925719B CN201680046783.4A CN201680046783A CN107925719B CN 107925719 B CN107925719 B CN 107925719B CN 201680046783 A CN201680046783 A CN 201680046783A CN 107925719 B CN107925719 B CN 107925719B
Authority
CN
China
Prior art keywords
motion vector
optical system
image
vector
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680046783.4A
Other languages
English (en)
Other versions
CN107925719A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107925719A publication Critical patent/CN107925719A/zh
Application granted granted Critical
Publication of CN107925719B publication Critical patent/CN107925719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

本发明提供一种摄像装置、摄像方法、程序及非暂时性记录介质,所述摄像装置能够轻松应对串线,并且能够抑制由设置遮光带等用于防止串线的对策引起的成本增高。本发明的一方式所涉及的摄像装置中,摄像部具备摄影光学系统及定向传感器,所述摄影光学系统包含设置于不同的区域,且具有互不相同的摄像特性的第1光学系统及第2光学系统,在经由第1、第2光学系统而得到的第1、第2图像中,根据移动矢量的第1、第2盖然性,提取所述第1、第2图像中的第1、第2真移动矢量,所述移动矢量的第1、第2盖然性是根据所检测到的被摄体的移动矢量即第1、第2移动矢量来计算出的。

Description

摄像装置、摄像方法、及非暂时性记录介质
技术领域
本发明涉及一种摄像装置、摄像方法、程序及非暂时性记录介质,尤其涉及一种能够获取摄像特性不同的多个图像的摄像装置、摄像方法、及有关该摄像装置或摄像方法的程序以及非暂时性记录介质。
背景技术
近年来,已知有如下摄像装置:通过具备具有根据区域不同的摄像特性的光学系统及定向传感器的摄像系统,能够同时获取摄像特性不同的多个图像。作为这种摄像装置的用途,可想到跟踪被摄体的同时进行拍摄的跟踪摄像机系统。这种系统中,能够同时获取摄像特性不同的多个图像,因此能够提高跟踪精确度,或者难以引起跟踪丢失。
在上述的摄像装置中,存在如下可能性:定向传感器中不同特性的信号成分(亮度信号)串线而产生伪像。一般而言,分析图像信息来跟踪注目物体的系统中,从图像提取特征点,并检测其移动信息(移动矢量)来利用于跟踪,因此若在所获取的图像中存在如上所述的伪像,则有可能导致将伪像的移动误识别为真图像的移动。
并且,越将检测移动信息(移动矢量)的算法设为高性能/高灵敏度,即使是由微弱的亮度信号的串线引起的伪像也被检测到,从而检测被摄体的移动时的影响变大。
在具备上述的摄像系统的摄像装置中,已知有用于防止或降低由串线产生的影响的技术。例如专利文献1中记载的摄像装置中,记载有通过图像处理去除由串线产生的影响。并且专利文献2中记载的摄像装置中,在摄影透镜的表面形成遮光带而分离焦点区域,由此无需图像处理就可防止串扰(串线)。
以往技术文献
专利文献
专利文献1:WO2013-024636号公报
专利文献2:WO2013-146506号公报
发明内容
发明要解决的技术课题
然而如专利文献1或专利文献2的现有技术中,若提高去除由串线产生的影响的程度,则透镜或传感器的加工/制造成本变高,且摄像装置中的图像处理的负载变高,而且无法完全去除串线。其结果,现有技术中,难以如上所述那样应对串线而正确掌握被摄体的移动。
本发明是鉴于这种情况而完成的,其目的在于提供一种能够轻松应对串线的摄像装置、摄像方法、及有关这种摄像装置或摄像方法的程序以及非暂时性记录介质。
用于解决技术课题的手段
为了实现上述的目的,本发明的第1方式所涉及的摄像装置具备:摄像部,所述摄像部具有摄影光学系统及定向传感器,所述摄影光学系统包含分别设置于不同的区域,且具有互不相同的摄像特性的第1光学系统及第2光学系统,所述定向传感器具备由二维状排列的光电转换元件构成的多个像素,对经由第1光学系统及第2光学系统入射的光束分别进行光瞳分割而通过多个像素选择性地进行受光;图像读出部,从定向传感器获取经由第1光学系统得到的第1图像的图像信号及经由第2光学系统得到的第2图像的图像信号;移动矢量检测部,检测第1图像中的被摄体的移动矢量即第1移动矢量及第2图像中的被摄体的移动矢量即第2移动矢量;盖然性计算部,计算第1盖然性及第2盖然性,所述第1盖然性表示第1移动矢量为由通过第1光学系统的光束产生的移动矢量的盖然性,所述第2盖然性表示第2移动矢量为由通过第2光学系统的光束产生的移动矢量的盖然性;及移动矢量提取部,根据第1移动矢量、第2移动矢量、第1盖然性及第2盖然性,提取第1图像中的由通过第1光学系统的光束产生的移动矢量即第1真移动矢量、及第2图像中的由通过第2光学系统的光束产生的移动矢量即第2真移动矢量。
第1方式所涉及的摄像装置中,摄像部具备第1、第2光学系统及定向传感器,因此除了被摄体的真移动矢量以外,还检测到由串线产生的伪移动矢量的情况下,根据基于第1、第2移动矢量的第1、第2盖然性,提取第1、第2真移动矢量。因此,即使存在串线也能够提取真移动矢量而正确地掌握被摄体的移动。并且,能够抑制由设置遮光带等用于防止串线的对策引起的成本增高。如此,第1方式所涉及的摄像装置中能够轻松应对串线。
另外第1方式中,“盖然性”反映了成为移动矢量检测基准的亮度信号的强度,能够利用检测到移动矢量的特征点的亮度差来进行量化,但也可以根据色差的大小或接近的特征点彼此的密度等而进行量化。
另外第1方式及以下各方式中,光学系统的“摄像特性不同”是指,包含如广角光学系统和长焦光学系统那样透镜的焦距(摄影视场角)不同的情况、或对焦距离不同的情况、如可见光和近红外那样透射光的波长不同的情况。并且第1方式中,第1、第2光学系统的光轴可以不相同。
第2方式所涉及的摄像装置在第1方式中,第1光学系统及第2光学系统中的一个为广角光学系统,另一个为与广角光学系统具有共同的光轴的长焦光学系统。第2方式为本发明中的光学系统的结构的一方式,能够获取摄影视场角的中心一致的广角图像及长焦图像。
第3方式所涉及的摄像装置在第1或第2方式中,移动矢量检测部从连续获取的多个第1图像检测被摄体的第1特征点,并根据所检测到的第1特征点,检测大小互不相同的多个第1移动矢量,从连续获取的多个第2图像检测被摄体的第2特征点,并根据所检测到的第2特征点,检测大小互不相同的多个第2移动矢量。
第3方式中,产生“大小不同的多个移动矢量”的情况认为是如下状况,例如第1、第2光学系统分别为广角光学系统和长焦光学系统时,根据摄影倍率的不同,对于同一被摄体,真移动矢量的大小与由串线产生的移动矢量的大小不同。另外第3方式中,“连续获取”多个第1、第2图像是指,隔开时间间隔而依次拍摄图像来获取多个图像。并且,作为特征点能够检测被摄体的边缘或角部等周围的亮度变化较大的点,但并不限定于这些。
第4方式所涉及的摄像装置在第3方式中,盖然性计算部对多个第1移动矢量的每一个计算第1盖然性,对多个第2移动矢量的每一个计算第2盖然性。在第3方式中检测“大小不同的多个移动矢量”,因此在第4方式中对所检测到的多个移动矢量的每一个计算盖然性。
第5方式所涉及的摄像装置在第3或第4方式中,盖然性计算部根据第1特征点中的亮度信号及第2特征点中与第1特征点对应的特征点中的亮度信号,对多个第1移动矢量的每一个计算第1盖然性,对多个第2移动矢量的每一个计算第2盖然性。第5方式为盖然性计算的一方式,根据特征点的亮度信号来计算第1、第2盖然性。
第6方式所涉及的摄像装置在第1至第5方式中的任1个中,移动矢量提取部在关于多个第1移动矢量中的一个移动矢量的第1盖然性比关于与一个移动矢量对应的第2移动矢量的第2盖然性高的情况下,与一个移动矢量对应的第2移动矢量判断为由从第1光学系统向第2光学系统的串线引起的移动矢量,从而将一个移动矢量作为第1真移动矢量而提取,在关于一个移动矢量的第1盖然性为关于与一个移动矢量对应的第2移动矢量的第2盖然性以下的情况下,一个移动矢量判断为由从第2光学系统向第1光学系统的串线引起的移动矢量,从而将第2移动矢量作为第2真移动矢量而提取。
第6方式为提取真移动矢量的方式。关于多个第1移动矢量中的一个移动矢量的第1盖然性比关于与一个移动矢量对应的第2移动矢量的第2盖然性高意味着与该一个移动矢量对应的第2移动矢量的亮度信号较弱,该第2移动矢量通过串线产生的可能性较高。因此,第6方式中,这种情况下第2移动矢量判断为由串线产生的移动矢量,将一个移动矢量作为真第1移动矢量而提取。另外,提取真第2移动矢量的情况也能够根据相同的判断来进行。
第7方式所涉及的摄像装置在第1至第6方式中的任1个中,还具备使摄像部向水平方向及垂直方向转动的云台机构,云台机构根据所提取的第1真移动矢量及第2真移动矢量来使摄像部转动。第7方式中,通过根据第1、第2真移动矢量使摄像部转动,从而即使存在由串线产生的伪移动矢量,也能够对应于被摄体的移动而进行跟踪摄影。
第8方式所涉及的摄像装置在第7方式中,云台机构使摄像部转动,以使在第1图像中检测到的被摄体在第2图像中也被检测。
根据第1、第2光学系统的结构或图像中的被摄体的位置及大小等条件,有时在第1图像中检测到的被摄体在第2图像中未被检测。第8方式中,通过使摄像部转动,在第1图像中检测到的被摄体在第2图像中也被检测。
第9方式所涉及的摄像装置在第1至第8方式中的任1个中,摄影光学系统为第1光学系统配置在中央部,且第2光学系统以环状配置在第1光学系统的周边部的摄影光学系统。第9方式为第1、第2光学系统的配置的一方式。
第10方式所涉及的摄像装置在第1至第9方式中的任1个中,具备显示部,所述显示部显示第1图像、第1移动矢量、第1盖然性及第1真移动矢量、以及第2图像、第2移动矢量、第2盖然性及第2真移动矢量。第10方式中,摄像装置的使用者能够视觉辨认移动矢量或盖然性、真移动矢量。另外,可以通过文字、图形、记号及这些组合来显示矢量或盖然性,并且也可以适当设定显示的色。
第11方式所涉及的摄像装置在第10方式中,显示部根据第1盖然性显示第1移动矢量及第1真移动矢量,根据第2盖然性显示第2移动矢量及第2真移动矢量。根据第11方式,能够容易视觉辨认所提取的真移动矢量及盖然性。
第12方式所涉及的摄像装置在第1至第11方式中的任1个中,还具备记录部,所述记录部记录第1图像、第1移动矢量、第1盖然性及第1真移动矢量、以及第2图像、第2移动矢量、第2盖然性及第2真移动矢量。可以将多个数据适当地建立关联而进行记录。
为了实现上述的目的,本发明的第13方式所涉及的摄像方法为如下摄像装置的摄像方法,所述摄像装置具备摄像部,所述摄像部具有:摄影光学系统,包含分别设置于不同的区域,且具有互不相同的摄像特性的第1光学系统及第2光学系统;及定向传感器,具备由二维状排列的光电转换元件构成的多个像素,对经由第1光学系统及第2光学系统入射的光束分别进行光瞳分割而通过多个像素选择性地进行受光,所述摄像方法包括:图像读出工序,从定向传感器获取经由第1光学系统得到的第1图像的图像信号及经由第2光学系统得到的第2图像的图像信号;移动矢量检测工序,检测第1图像中的被摄体的移动矢量即第1移动矢量及第2图像中的被摄体的移动矢量即第2移动矢量;盖然性计算工序,计算第1盖然性及第2盖然性,所述第1盖然性表示第1移动矢量为由通过第1光学系统的光束产生的移动矢量的盖然性,所述第2盖然性表示第2移动矢量为由通过第2光学系统的光束产生的移动矢量的盖然性;及移动矢量提取工序,根据第1移动矢量、第2移动矢量、第1盖然性及第2盖然性,提取第1图像中的由通过第1光学系统的光束产生的移动矢量即第1真移动矢量、及第2图像中的由通过第2光学系统的光束产生的移动矢量即第2真移动矢量。
第13方式所涉及的摄像方法中,与第1方式相同地,即使存在串线也能够提取真移动矢量而正确地掌握被摄体的移动,并且能够抑制由用于防止串线的对策引起的成本增高。如此,第13方式所涉及的摄像方法中能够轻松应对串线。
第14方式所涉及的摄像方法在第13方式中,第1光学系统及第2光学系统中的一个为广角光学系统,另一个为与广角光学系统具有共同光轴的长焦光学系统。第14方式与第2方式相同地为本发明中的光学系统的结构的一方式,能够获取图像的中心一致的广角图像及长焦图像。
第15方式所涉及的摄像方法在第13或第14方式中,移动矢量检测工序中,从连续获取的多个第1图像检测被摄体的第1特征点,并根据所检测到的第1特征点,检测大小互不相同的多个第1移动矢量,从连续获取的多个第2图像检测被摄体的第2特征点,并根据所检测到的第2特征点,检测大小互不相同的多个第2移动矢量。第15方式中,与第3方式相同地检测大小不同的多个移动矢量。
第16方式所涉及的摄像方法在第15方式中,盖然性计算工序中,对多个第1移动矢量的每一个计算第1盖然性,对多个第2移动矢量的每一个计算第2盖然性。第16方式中,与第4方式相同地对多个移动矢量的每一个计算盖然性。
第17方式所涉及的摄像方法在第15或第16方式中,盖然性计算工序中,根据第1特征点中的亮度信号及第2特征点中与第1特征点对应的特征点中的亮度信号,对多个第1移动矢量的每一个计算第1盖然性,对多个第2移动矢量的每一个计算第2盖然性。第17方式中,与第5方式相同地根据特征点的亮度信号计算第1、第2盖然性。
第18方式所涉及的摄像方法在第13至第17方式中的任1个中,移动矢量提取工序中,在关于多个第1移动矢量中的一个移动矢量的第1盖然性比关于与一个移动矢量对应的第2移动矢量的第2盖然性高的情况下,与一个移动矢量对应的第2移动矢量判断为由从第1光学系统向第2光学系统的串线产生的移动矢量,从而将一个移动矢量作为第1真移动矢量而提取,关于一个移动矢量的第1盖然性为关于与一个移动矢量对应的第2移动矢量的第2盖然性以下的情况下,一个移动矢量判断为由从第2光学系统向第1光学系统的串线引起的移动矢量,从而将第2移动矢量作为第2真移动矢量而提取。第18方式与第6方式相同地为提取真移动矢量的方式。
第19方式所涉及的摄像方法在第13至第18方式中的任1个中,还包括摄像部转动工序,根据所提取的第1真移动矢量及第2真移动矢量使摄像部转动,通过摄像部转动工序使摄像部转动,并且反复进行图像读出工序、移动矢量检测工序、盖然性计算工序及移动矢量提取工序。第19方式中,通过摄像部转动工序使摄像部转动,并且反复进行图像读出工序、移动矢量检测工序、盖然性计算工序及移动矢量提取工序,由此能够连续跟踪摄影被摄体。
第20方式所涉及的摄像方法在第19方式中,摄像部转动工序中,使摄像部转动,以使在第1图像中所检测到的被摄体在第2图像中也被检测。第20方式中,与第8方式相同地,使摄像部转动,以使在第1图像中所检测到的被摄体在第2图像中也被检测。
本发明的第21方式为使摄像装置执行第13至第20方式中任一个所述的摄像方法的程序。第21方式所涉及的程序可以存储于如ROM(Read Only Memory:只读存储器)或EEPROM(Electronically Erasable and Programmable Read Only Memory:电可擦除和可编程只读存储器)一样组装在摄像装置或透镜装置的内部的存储器,也可以记录在CD(Compact Disk:光盘)或DVD(Digital Versatile Disk:数字多功能盘)、BD(Blu-rayDisc:蓝光光盘)、硬盘、半导体存储器等各种磁光记录介质(非暂时性记录介质)而使用。
本发明的第22方式为记录有第21方式所述的程序的计算机可读的代码的非暂时性(non-transitory)记录介质。作为第22方式所涉及的非暂时性记录介质的例子,能够举出CD或DVD、BD、硬盘、半导体存储器等各种磁光记录介质。
发明效果
根据本发明的摄像装置、摄像方法、程序及非暂时性记录介质,能够轻松应对串线。
附图说明
图1是表示本发明的一实施方式所涉及的摄像装置的外观的立体图。
图2是表示本发明的一实施方式所涉及的摄影光学系统及成像元件的结构的剖视图。
图3是表示图2所示的成像元件的详细结构的剖视图。
图4是表示入射于图2所示的摄影光学系统(尤其第1光学系统)及成像元件(尤其第1传感器组)的广角图像光的光路的图。
图5是表示入射于图2所示的摄影光学系统(尤其第2光学系统)及成像元件(尤其第2传感器组)的长焦图像光的光路的图。
图6是表示本发明的一实施方式所涉及的摄像装置的功能结构的框图。
图7是表示理想的广角图像及长焦图像的例子的图。
图8是表示产生串线的广角图像及长焦图像的例子的图。
图9是说明提取真移动矢量的处理的概念图。
图10是说明提取真移动矢量的处理的另一概念图。
图11是说明提取真移动矢量的处理的又一概念图。
图12是说明提取真移动矢量的处理的又一概念图。
图13是表示提取真移动矢量的处理的概要的流程图。
图14是表示提取真移动矢量的处理的详细内容的流程图。
图15是说明提取真移动矢量的处理的又一概念图。
图16是表示摄像部的第2实施方式的剖视图。
图17是表示图16所示的摄像部中的定向传感器中受光的样子的图。
图18是表示摄像部的第3实施方式的剖视图。
具体实施方式
以下,根据附图对本发明所涉及的摄像装置、摄像方法、程序及非暂时性记录介质的实施方式进行说明。
<摄像装置的结构>
图1是表示本发明的一实施方式所涉及的摄像装置30的立体图。图1所示的摄像装置30中,包含齿轮19的保持部18及安装在保持部18的摄像部10固定地装配在设置于装置主体15上的底座16。摄像部10具备摄影光学系统11及作为定向传感器的成像元件24(参考图2~5)。底座16以装置主体15的垂直方向Z的轴为中心旋转自如地设置,通过云台机构52及平摇驱动部54(参考图6)进行以垂直方向Z的轴为中心的平摇动作。齿轮19设置在与水平方向X的轴相同的轴上,通过从云台机构52及俯仰驱动部56(参考图6)经由齿轮19传递驱动力,从而摄像部10在上下方向上转动而进行俯仰动作。摄像部10、包含齿轮19的保持部18及底座16被防尘及防滴用球形罩17覆盖。
<摄像部的结构>
图2是表示摄影光学系统11及成像元件24的剖面结构的图。
摄影光学系统11包含具有互不相同的特性的第1光学系统21及第2光学系统22。尤其本实施方式中,作为一例,由焦距不同的光学系统构成第1光学系统21及第2光学系统22。即,本实施方式的摄影光学系统11包含由“广角图像摄影透镜组”构成的第1光学系统21及由“长焦图像摄影透镜组”构成的第2光学系统22,且能够通过成像元件24来同时摄影广角图像及长焦图像。
图2所示的第1光学系统21包含配置在相同的光轴L上的第1广角用透镜21a、第2广角用透镜21b、第3广角用透镜21c、第4广角用透镜21d及共同透镜23。另一方面,第2光学系统22包含第1长焦用透镜22a、设有第1长焦用反射镜22c的第1长焦用反射体22b、设有第2长焦用反射镜22e的第2长焦用反射体22d及共同透镜23。本例的第1光学系统21(尤其第1广角用透镜21a、第2广角用透镜21b、第3广角用透镜21c及第4广角用透镜21d)形成中央光学系统。另一方面,本例的第2光学系统22(尤其第1长焦用透镜22a、第1长焦用反射体22b、第1长焦用反射镜22c、第2长焦用反射体22d及第2长焦用反射镜22e)设于第1光学系统21所形成的中央光学系统的周边,与第1光学系统21所形成的中央光学系统一起形成同心圆。另外共同透镜23配置在光轴L上,在第1光学系统21与第2光学系统22之间被共用。
如上所述,摄影光学系统11包含具有共同的光轴L,且具有互不相同的焦距及摄影视场角的第1光学系统21及第2光学系统22。
成像元件24在与光轴L形成垂直的方向上,作为定向传感器通过多个受光传感器25二维配置而构成。尤其本实施方式的成像元件24构成如下定向传感器,即同时接受经由第1光学系统21入射的广角图像光及经由第2光学系统22入射的长焦图像光,且能够输出用于生成第1图像(在此为广角图像)的第1图像的图像信号(也称为“第1图像信号”)及用于生成第2图像(在此为长焦图像)的第2图像的图像信号(也称为“第2图像信号”)的定向传感器。即,本实施方式的成像元件24具有多个受光传感器25,所述多个受光传感器25分别对应第1光学系统21及第2光学系统22而设置,且对通过第1光学系统21及第2光学系统22中对应的光学系统的光进行光瞳分割而选择性地进行受光。
图3是表示图2所示的成像元件24的详细的剖面结构例的图。
构成本例的成像元件24的多个受光传感器25(光电转换元件)包含对应于第1光学系统21的“广角图像用第1受光传感器25a”及对应于第2光学系统22的“长焦图像用第2受光传感器25b”,这些第1受光传感器25a及第2受光传感器25b二维地交替配置而构成成像元件24的像素。成像元件24中所包含的多个第1受光传感器25a构成“选择性地接受通过第1光学系统21的光的第1传感器组24a”,并输出用于生成广角图像的摄像信号。并且成像元件24中所包含的多个第2受光传感器25b构成“选择性地接受通过第2光学系统22的光的第2传感器组24b”,并输出用于生成长焦图像的摄像信号。如此本例的成像元件24包含对应于第1光学系统21的第1传感器组24a及对应于第2光学系统22的第2传感器组24b。
各第1受光传感器25a及第2受光传感器25b具有微透镜26、光电二极管29、及配置有微透镜26和光电二极管29的中间层27。中间层27中设有遮光掩模28,在第1受光传感器25a中在光电二极管29的受光面的周边部配置有遮光掩模28,在第2受光传感器25b中在光电二极管29的受光面的中央部配置有遮光掩模28。遮光掩模28的配置是根据与第1光学系统21及第2光学系统22中的哪一个对应来确定,各遮光掩模28阻挡来自不对应的光学系统的光,另一方面,不阻挡来自对应的光学系统的光并使光电二极管29接受该光。
本例中,通过包含遮光掩模28的受光传感器25,实现了对通过第1光学系统21及第2光学系统22中对应的光学系统的光进行光瞳分割而选择性地进行受光的多个受光传感器。本发明并不限定于该方式,也可以通过其他方法来实现光瞳分割。例如,可以在微透镜26的前段(例如微透镜26与共同透镜23(参考图3)之间)设有遮光掩模28,也可以使用遮光掩模28以外的遮光构件(例如液晶快门等)。
另外,中间层27中可以设置遮光掩模28以外的部件,例如布线或电路类可以设置在中间层27中。
成像元件24中,设有由配设于各受光传感器25的R(红),G(绿),B(蓝)的滤色器(也称为“滤光器”,未图示)构成的滤色器排列,通过图像生成部32(参考图6)对对应于该滤色器排列的颜色排列图案而得到的各颜色的图像(即,马赛克图像)进行去马赛克处理(也称为“同步化处理”),从而得到彩色的广角图像及长焦图像。
图4是表示在图2所示的摄影光学系统11及图3所示的成像元件24中入射于第1光学系统21及第1传感器组24a的广角图像光W的光路的图。本实施方式中,广角图像光W依次通过第1光学系统21的第1广角用透镜21a、第2广角用透镜21b、第3广角用透镜21c、第4广角用透镜21d及共同透镜23,且广角图像成像于成像元件24上的第1传感器组24a中。
图5是表示在图2所示的摄影光学系统11及图3所示的成像元件24中入射于第2光学系统22及第2传感器组24b的长焦图像光T的光路的图。本实施方式中,长焦图像光T通过(透射)第1长焦用透镜22a,并分别被第1长焦用反射镜22c及第2长焦用反射镜22e反射之后通过共同透镜23,且长焦图像成像于成像元件24上的第2传感器组24b。如此,分别被第1长焦用反射镜22c及第2长焦用反射镜22e反射而光路折回,由此焦距较长的长焦图像摄影用第2光学系统22在光轴L的方向上能够缩短长度。
图6是表示本实施方式所涉及的摄像装置30的功能结构例的框图。
本例的摄像装置30除了上述的具有第1光学系统21及第2光学系统22的摄影光学系统11及具有第1传感器组24a及第2传感器组24b的成像元件24以外,还具有图像生成部32、主控制器37、图像处理部38、记录部39、显示控制器40、显示部41及用户操作部42。
图像生成部32(也称为“图像读出部”)根据从第1传感器组24a输出的第1图像信号来生成第1图像的图像数据(也称为“第1图像数据”),根据从第2传感器组24b输出的第2图像信号来生成第2图像的图像数据(也称为“第2图像数据”)。图像生成部32中所生成的第1图像数据及第2图像数据例如传送至设置于后段的图像处理部38、记录部39及显示控制器40或控制图像生成部32的主控制器37。
包含移动矢量检测部、盖然性计算部、移动矢量提取部(未图示)的图像处理部38检测第1图像及第2图像中的被摄体,并根据检测结果进行被摄体的移动矢量检测、盖然性计算及真移动矢量提取。关于基于图像处理部38的处理,将在后面进行详述。
记录部39对第1、第2图像数据、移动矢量、盖然性及真移动矢量建立对应关系而进行记录。
显示控制器40使根据被送来的第1图像数据及第2图像数据再现的第1图像的广角图像、第2图像的长焦图像、移动矢量、盖然性、真移动矢量显示于显示部41。
云台装置(电动云台)50具备使图1所示的摄像部10向与装置主体15水平方向(即,平摇方向)及垂直方向(即,俯仰方向)转动的云台机构52、平摇驱动部54及俯仰驱动部56等。云台机构52具有检测平摇方向的旋转角(平摇角)的基准位置的原位传感器、及检测俯仰方向的倾角(即,俯仰角)的基准位置的原位传感器。
平摇驱动部54及俯仰驱动部56分别具有步进电机及电机驱动器,并向云台机构52输出驱动力而驱动云台机构52。
主控制器37连接于摄像部10、图像生成部32、图像处理部38、记录部39、显示控制器40、显示部41、用户操作部42、云台装置50、及构成摄像装置30的其他各部,从而控制各部中的处理功能。用户操作部42被用户操作而输入各种指示命令,输入到用户操作部42的各种指示命令被发送到主控制器37,主控制器37能够根据来自用户操作部42的指示命令来控制摄像装置30的各部。
<广角图像及长焦图像>
接着,对广角图像及长焦图像进行说明。图7(a)、图7(b)是表示广角图像及长焦图像的例子的图。图7(a)为广角图像,图7(b)为长焦图像。另外图7(a)、图7(b)中,示出了广角图像与长焦图像之间未产生串线的理想的广角图像和长焦图像状态的例子。
<存在串线时的广角图像及长焦图像>
另一方面,图8(a)、图8(b)中示出存在串线时的广角图像及长焦图像的例子。图8(a)为广角图像,图8(b)为长焦图像。如图8(a)所示,广角图像中串线有长焦图像,除了本来的被摄体图像(在此为图像中央的小卡车)以外,图像内隐约出现因串线产生的伪像(在此为卡车较大的图像)。另一方面,如图8(b)所示,在长焦图像中也串线有广角图像,除了本来的被摄体(在此为图像中央的大卡车)以外,图像中央中隐约出现因串线产生的伪像(在此为卡车较小的图像)。以下所示的真移动矢量提取将这种状况为例进行说明。
<基于盖然性的真移动矢量的提取(其1)>
对于基于盖然性的真移动矢量提取,首先概念性地进行说明。另外在此,为简化说明,作为被摄体仅考虑图7、图8中的卡车,设为该卡车从图左向右行驶。
图9(a)是表示广角图像中的被摄体图像的轮廓线的图(为方便说明,未图示因长焦图像的串线产生的被摄体图像),示出被摄体的轮廓线及针对存在于轮廓线上的特征点检测到的第1移动矢量(图中的箭头)。各移动矢量的起始点设为特征点。另外在此,用移动矢量的粗細表示移动矢量的“盖然性”。其中“盖然性”反应了成为移动矢量检测基准的亮度信号的强度,能够利用检测到移动矢量的特征点的亮度差来进行量化,但也可以根据色差的大小或接近的特征点彼此的密度等而进行量化。
图9(b)是表示广角图像的被摄体图像在长焦图像中串线的样子的图(为方便说明,未图示长焦图像中的真被摄体图像)。图9(b)中的被摄体图像是因串线产生的图像且亮度较低,因此表示“盖然性”的移动矢量的粗細也变得比图9(a)所示的移动矢量细。
本实施方式中,第1光学系统21与第2光学系统22的光轴均在L上共通,因此图9(b)中的因串线产生的被摄体的伪像的位置与图9(a)中的被摄体图像成为相同位置。因此,比较图9(a)的广角图像与图9(b)的长焦图像,在这些图像中的相同位置上存在具有相同方向及相同大小的移动矢量的情况下,盖然性较低的移动矢量判断为因串线产生的伪移动矢量。在图10(a)、图10(b)中示出如此仅提取真移动矢量的结果。
图10(a)是表示从图9(a)的广角图像提取的真移动矢量的图。另外图9、图10所示的例子中,仅对广角图像中的被摄体和从广角图像向长焦图像的串线进行了说明,因此如图10(b)所示,从图9(b)的长焦图像(未图示)无法提取与广角图像对应的真移动矢量。
<基于盖然性的真移动矢量的提取(其2)>
接着,对广角图像及长焦图像中生成因串线产生的伪像时的真移动矢量的提取进行说明。图11(a)是表示从广角图像提取的被摄体图像(用轮廓表示)及所检测到的移动矢量的图,且示出如下样子:除了本来的被摄体图像(图中央的较小的卡车图像)以外,还产生因长焦图像的串线产生的伪被摄体图像(较大的卡车图像)。即,图11(a)是与图8(a)对应的图。另一方面,图11(b)是表示从长焦图像提取的被摄体图像(用轮廓表示)及所检测到的移动矢量的图,且示出如下样子:除了本来的被摄体图像(较大的卡车图像)以外,还产生因广角图像的串线产生的伪被摄体图像(图中央的较小的卡车图像)。即,图11(b)是与图8(b)对应的图。
另外在图11中,也与图9(a)、图9(b)相同地用矢量的粗細来图示移动矢量的“盖然性”。
图11(a)、图11(b)所示的情况也与图9(a)、图9(b)的情况同样地,在图像中的相同位置上存在具有相同方向及相同大小的移动矢量的情况下,盖然性较低的移动矢量判断为因串线产生的伪移动矢量,从而提取真移动矢量。在图12(a)、图12(b)中示出如此提取的移动矢量。图12(a)表示从广角图像提取的真移动矢量,图12(b)表示从长焦图像提取的真移动矢量。
<真移动矢量提取及被摄体跟踪>
接着,对摄像装置30中的真移动矢量提取及被摄体跟踪处理进行详细说明。图13是表示真移动矢量提取处理的流程图。另外,进行这种处理的程序能够先存储在例如主控制器37或记录部39中,并且可以将该程序的计算机可读的代码记录在CD或DVD、BD、硬盘、半导体存储器等非暂时性(non-transitory)记录介质而使用。
首先图像生成部32(参考图6)从成像元件24获取表示第1图像的广角图像的图像信号及表示第2图像的长焦图像的图像信号,从而生成广角图像及长焦图像(步骤S10;图像读出工序)。接着进入步骤S12,对于各广角图像及长焦图像,检测被摄体的移动矢量(移动矢量检测工序)。另外,这些处理中在广角图像中检测到的被摄体无法在长焦图像检测时,根据需要可以通过云台装置50使摄像部10转动。
对步骤S12的移动矢量检测工序中的来自广角图像的移动矢量检测进行说明。首先,隔开时间间隔而获取多个广角图像,在这些多个广角图像(第1图像)的每一个中检测被摄体的特征点(第1特征点)。并且,根据对应的特征点的差分,检测广角图像中的移动矢量(第1移动矢量)。同样地,从隔开时间间隔而获取的多个长焦图像(第2图像)检测长焦图像中的被摄体的特征点(第2特征点),从而检测长焦图像中的移动矢量(第2移动矢量)。
本实施方式中,由于在广角图像及长焦图像中视场角不同,因此被摄体的大小不同,并且由于在广角图像及长焦图像中产生串线,因此步骤S12的移动矢量检测工序中,第1、第2移动矢量均检测到大小互不相同的多个移动矢量。
接着,进入步骤S14,计算移动矢量的盖然性(盖然性计算工序)。在此为简化说明,如图15所示,对广角图像(图15(a))及长焦图像(图15(b))的每一个中检测到2个移动矢量的情况进行说明。另外,图15中的记号的意义如下。
Qw1、Qw2:广角图像中的特征点(第1特征点)
Vw1、Vw2:关于特征点Qw1,Qw2的移动矢量(第1移动矢量)
Qt1、Qt2:长焦图像中的特征点(第2特征点)
Vt1、Vt2:关于特征点Qt1,Qt2的移动矢量(第2移动矢量)
移动矢量Vw1、Vw2为由通过广角光学系统的光束产生的移动矢量,将所对应的盖然性即第1盖然性分别设为Pw1、Pw2,移动矢量Vt1、Vt2为由通过长焦光学系统的光束产生的移动矢量,将所对应的盖然性即第2盖然性分别设为Pt1、Pt2。
步骤S14中,计算广角图像中的被摄体的移动矢量Vw1、Vw2为由通过广角光学系统(第1光学系统21)的光束产生的移动矢量的盖然性Pw1、Pw2、及长焦图像中的被摄体的移动矢量Vt1、Vt2为由通过长焦光学系统(第2光学系统22)的光束产生的移动矢量的盖然性Pt1、Pt2。
例如,盖然性Pw1及Pt1能够根据广角图像中的特征点Qw1中的亮度信号及与特征点Qw1对应的长焦图像中的特征点Qt1中的亮度信号来计算。同样地,盖然性Pw2及Pt2能够根据广角图像中的特征点Qw2中的亮度信号及与特征点Qw2对应的长焦图像中的特征点Qt2中的亮度信号来计算。
若结束步骤S14中的盖然性的计算,则进入步骤S16而提取真移动矢量(移动矢量提取工序)。参考图14对步骤S16的处理进行详细说明。
首先,步骤S22中制作移动矢量的候选列表。关于该候选列表,从广角图像的移动矢量(图15的例子中为Vw1、Vw2)及长焦图像的移动矢量(Vt1、Vt2)提取在相同位置上具有相同方向的矢量,并制作成对的列表。图15的例子中,(Vw1,Vt1)与(Vw2,Vt2)被列表化。
对于在步骤S22中被列表化的移动矢量,均计算出盖然性,因此在步骤S24中,被列表化的移动矢量彼此之间比较盖然性。具体而言,判断“关于广角图像中的移动矢量的盖然性是否高于关于与该移动矢量对应的长焦图像中的移动矢量的盖然性”。图15的例子中,比较关于移动矢量Vw1的盖然性Pw1与关于移动矢量Vt1的盖然性Pt1。
当步骤S24中的判断被肯定时(判断结果为是),进入步骤S26,将广角图像的移动矢量作为真移动矢量而提取,当判断被否定时(判断结果为否),进入步骤S28,将长焦图像的移动矢量作为真移动矢量而提取。图15的例子中,由于Pw1>Pt1因此步骤S24中的判断被肯定,移动矢量Vt1判断为因从第1光学系统21向第2光学系统22的串线产生的伪移动矢量,从而将移动矢量Vw1作为真移动矢量而提取。并且,由于Pw2≤Pt2,因此移动矢量Vw2判断为因从第2光学系统22向第1光学系统21的串线产生的伪移动矢量,从而将移动矢量Vt2作为真移动矢量而提取。
通过如此反复进行从步骤S22到S28的处理,能够提取真移动矢量。若对于被列表化的所有移动矢量结束了真移动矢量的提取,则返回到图13的流程图而进入步骤S18。
步骤S18中,使移动矢量、真移动矢量及盖然性与特征点建立关联而显示于显示部41,并且记录于记录部39。例如,如图15所示那样显示,并记录该信息。另外图15中,对于移动矢量Vw2、Vt1及真移动矢量Vw1、Vt2,将起始点设为特征点Qw2、Qt1、Qw1、Qt2,并以与盖然性Pw2、Pt1、Pw1、Pt2相应的粗細进行显示。
另外显示中,可以根据盖然性改变移动矢量或真移动矢量的颜色(例如,使盖然性较高的成为蓝色,使较低的成为红色),也可以改变明度(例如,盖然性越高的越亮)。并且也可以显示表示盖然性的文字、图形、记号等。
若结束步骤S18中的显示及记录,则进入步骤S20而根据真移动矢量Vw1、Vt2的方向及大小来使摄像部10转动(摄像部转动工序),反复进行步骤S10以后的处理。由此能够连续跟踪及拍摄被摄体。另外步骤S20中,在广角图像中检测到的被摄体无法在长焦图像中检测的情况下,可以根据需要通过云台装置50来使摄像部10转动。
如以上所说明,第1实施方式所涉及的摄像装置30中,根据盖然性提取真移动矢量,因此即使存在串线也能够掌握被摄体的移动,且能够轻松应对串线。并且根据真移动矢量Vw1、Vt2而使摄像部10转动,因此即使存在串线也能够连续跟踪被摄体。
第1实施方式所涉及的摄像装置30能够设置于建筑物等而用作监控摄像机,并且也能够搭载于车辆等移动体而用作车载摄像机。
另外,第1实施方式中,对被摄体为一个的例子进行了说明,但本发明中被摄体的数量并不限定于一个,在检测到多个被摄体的情况下,能够对各个被摄体进行真移动矢量提取等处理。并且第1实施方式中,需要注意的是,掌握被摄体的移动而连续进行跟踪时,只要提取真移动矢量即可,无需制作去除了串线的图像(无需对如图8的图像进行图像处理而制成如图7的图像)。
<摄像部的第2实施方式>
接着,对本发明中的摄像部的第2实施方式进行说明。图16是表示第2实施方式所涉及的摄像部61的剖视图。
如图16所示,第2实施方式所涉及的摄像部61由摄影光学系统62及定向传感器67构成。
<摄影光学系统>
摄影光学系统62由分别配置于相同光轴L2上的、作为第1光学系统的中央部的中央光学系统63及其周边部的同心圆状的作为第2光学系统的环状光学系统64构成。
中央光学系统63为由第1透镜63a、第2透镜63b、第3透镜63c、第4透镜63d及共同透镜65构成的广角光学系统,并使广角图像成像于构成定向传感器67的微透镜阵列66上。
环状光学系统64为由第1透镜64a、第2透镜64b、作为反射光学系统的第1反射镜64c、第2反射镜64d及共同透镜65构成的长焦光学系统,并使长焦图像成像于微透镜阵列66上。经由第1透镜64a及第2透镜64b入射的光束被第1反射镜64c及第2反射镜64d反射2次之后,通过共同透镜65。光束通过第1反射镜64c及第2反射镜64d被折回,由此缩短焦距较长的长焦光学系统的光轴方向的长度。
<定向传感器>
定向传感器67由微透镜阵列66及图像传感器68构成。
图17是微透镜阵列66及图像传感器68的主要部分放大图。
微透镜阵列66由多个微透镜(光瞳成像透镜)66a排列成二维状而构成,各微透镜的水平方向及垂直方向的间隔与相当于3个作为图像传感器68的光电转换元件的受光单元68a的间隔对应。即,微透镜阵列66的各微透镜使用相对于水平方向及垂直方向的各方向与每隔2个受光单元的位置对应而形成的微透镜。
并且,微透镜阵列66的各微透镜66a使与摄影光学系统62的中央光学系统63及环状光学系统64对应的圆形的中央光瞳像(第1光瞳像)67a及环状光瞳像(第2光瞳像)67b成像于图像传感器68所对应的受光区域的受光单元68a上。
根据图17所示的微透镜阵列66及图像传感器68,对微透镜阵列66的每1个微透镜66a,分配有格子状(正方格子状)的3×3个的受光单元68a。以下,将1个微透镜66a及与1个微透镜66a对应的受光单元组(3×3个受光单元68a)称为单元块。
中央光瞳像67a仅成像于单元块的中央的受光单元68a,环状光瞳像67b成像于单元块的周围的8个受光单元68a。
根据上述结构的摄像部61,能够同时拍摄与中央光学系统63对应的广角图像及与环状光学系统64对应的长焦图像(摄影倍率大于广角图像的图像)。
另外,图像传感器68中,设有由配设于各受光单元上的R(红),G(绿),B(蓝)的滤色器(滤光器)构成的滤色器排列,通过对与该滤色器排列的颜色排列图案对应而得到的各颜色的图像(马赛克图像)进行去马赛克处理(同步化处理),从而得到彩色的广角图像及长焦图像。
另外,对于通过摄像部61获取的广角图像及长焦图像,能够与上述的第1实施方式相同地进行移动矢量的检测或真移动矢量的提取处理。由此在第2实施方式中,即使存在串线也能够掌握被摄体的移动,且能够轻松应对串线,并且能够连续跟踪被摄体。
<摄像部的第3实施方式>
对本发明中的摄像部的第3实施方式进行说明。图18是表示第3实施方式所涉及的摄像部111的剖视图。
摄像部111具备摄影光学系统112及定向传感器67。另外,定向传感器67与图16及图17所示的定向传感器相同,因此以下对摄影光学系统112进行说明。
摄影光学系统112由分别配置于相同光轴L3上的中央部的第1光学系统113(中央光学系统)及其第2光学系统114(周边部的环状光学系统)构成。
中央光学系统113为由第1透镜113a、第2透镜113b及共同透镜115构成的长焦光学系统,且具有视场角α。另一方面,环状光学系统114为由透镜114a及共同透镜115构成的广角光学系统,具有视场角β(β>α),比中央光学系统113更为广角。
摄影光学系统112与图16所示的摄影光学系统62相比,不同点在于,未使用反射镜,并且,中央光学系统113为长焦光学系统,环状光学系统114为广角光学系统。
另外,对于通过摄像部111获取的广角图像及长焦图像,能够与上述的第1、第2实施方式相同地进行移动矢量的检测或真移动矢量的提取处理,由此在第3实施方式中,即使存在串线也能够掌握被摄体的移动,且能够轻松应对串线,并且能够连续跟踪被摄体。
<其他>
以上所说明的第1~第3实施方式中,对第1光学系统为配置于中央部的圆形的光学系统且第2光学系统为在第1光学系统的周边部以环状配置的环状光学系统的情况进行了说明,但本发明中的摄影光学系统中,例如第1、第2光学系统可以配置在与光轴垂直的面内的不同的区域,以使将第1、第2光学系统分别设为半月型的光学系统。
并且,第1~第3实施方式中,对第1、第2光学系统的焦距(摄影视场角)互不相同的情况进行了说明,但第1、第2光学系统中作为不同的摄像特性并不限于焦距(摄影视场角),也可以是对焦距离或透射光的频率不同。
并且,第1~第3实施方式中,对光学系统(第1、第2光学系统)的光轴为共用的情况进行了说明,但本发明中光学系统的光轴也可以并非共用。当第1、第2光学系统的光轴呈非零角度时,第1、第2光学系统的摄影视场角的一部分可以重叠。
并且,本发明中,光学系统的数量并不限于2个,也可以是3个以上。当使用3个以上的光学系统时,第1或第2光学系统可以由更多个光学系统构成。
以上对本发明的例子进行了说明,但本发明并不限定于上述的实施方式,在不脱离本发明的精神的范围内能够进行各种变形。
符号说明
10、61、111-摄像部,11、62、112-摄影光学系统,21-第1光学系统,22-第2光学系统,24-成像元件,24a-第1传感器组,24b-第2传感器组,30-摄像装置,32-图像生成部,38-图像处理部,39-记录部,40-显示控制器,41-显示部,50-云台装置,67-定向传感器,Qw1、Qw2、Qt1、Qt2-特征点,Vw1、Vw2、Vt1、Vt2…移动矢量。

Claims (19)

1.一种摄像装置,其特征在于,具备:
摄像部,所述摄像部具有摄影光学系统及定向传感器,所述摄影光学系统包含分别设置于不同的区域且具有互不相同的摄像特性的第1光学系统及第2光学系统,所述定向传感器具备由二维状排列的光电转换元件构成的多个像素,对经由所述第1光学系统及所述第2光学系统入射的光束分别进行光瞳分割而通过所述多个像素选择性地进行受光;
图像读出部,从所述定向传感器获取经由所述第1光学系统得到的第1图像的图像信号及经由所述第2光学系统得到的第2图像的图像信号;
移动矢量检测部,检测所述第1图像中的被摄体的移动矢量即第1移动矢量及所述第2图像中的所述被摄体的移动矢量即第2移动矢量;
盖然性计算部,计算第1盖然性及第2盖然性,所述第1盖然性表示所述第1移动矢量为由通过了所述第1光学系统的光束产生的移动矢量的盖然性,所述第2盖然性表示所述第2移动矢量为由通过了所述第2光学系统的光束产生的移动矢量的盖然性;及
移动矢量提取部,根据所述第1盖然性与所述第2盖然性的比较,提取所述第1图像中的由通过了所述第1光学系统的光束产生的移动矢量即第1真移动矢量、或者所述第2图像中的由通过了所述第2光学系统的光束产生的移动矢量即第2真移动矢量。
2.根据权利要求1所述的摄像装置,其中,
所述第1光学系统及所述第2光学系统中的一个为广角光学系统,另一个为与所述广角光学系统具有共同的光轴的长焦光学系统。
3.根据权利要求1或2所述的摄像装置,其中,
所述移动矢量检测部,
从连续获取的多个所述第1图像检测所述被摄体的第1特征点,并根据所检测到的所述第1特征点,检测大小互不相同的多个所述第1移动矢量,
从连续获取的多个所述第2图像检测所述被摄体的第2特征点,并根据所检测到的所述第2特征点,检测大小互不相同的多个所述第2移动矢量。
4.根据权利要求3所述的摄像装置,其中,
所述盖然性计算部对多个所述第1移动矢量的每一个计算所述第1盖然性,对多个所述第2移动矢量的每一个计算所述第2盖然性。
5.根据权利要求3所述的摄像装置,其中,
所述盖然性计算部根据所述第1特征点中的亮度信号及所述第2特征点中与所述第1特征点对应的特征点中的亮度信号,对多个所述第1移动矢量的每一个计算所述第1盖然性,对多个所述第2移动矢量的每一个计算所述第2盖然性。
6.根据权利要求1或2所述的摄像装置,其中,
所述移动矢量提取部,
在关于多个所述第1移动矢量中的一个移动矢量的所述第1盖然性比关于与所述一个移动矢量对应的所述第2移动矢量的所述第2盖然性高的情况下,判断为与所述一个移动矢量对应的所述第2移动矢量是由从所述第1光学系统向所述第2光学系统的串线引起的移动矢量,从而将所述一个移动矢量作为所述第1真移动矢量而提取,
在关于所述一个移动矢量的所述第1盖然性为关于与所述一个移动矢量对应的所述第2移动矢量的所述第2盖然性以下的情况下,判断为所述一个移动矢量是由从所述第2光学系统向所述第1光学系统的串线引起的移动矢量,从而将所述第2移动矢量作为所述第2真移动矢量而提取。
7.根据权利要求1或2所述的摄像装置,其中,
所述摄影光学系统为所述第1光学系统配置在中央部且所述第2光学系统以环状配置在所述第1光学系统的周边部的摄影光学系统。
8.根据权利要求1或2所述的摄像装置,
所述摄像装置具备显示部,所述显示部显示所述第1图像、所述第1移动矢量、所述第1盖然性及所述第1真移动矢量、以及所述第2图像、所述第2移动矢量、所述第2盖然性及所述第2真移动矢量。
9.根据权利要求8所述的摄像装置,其中,
所述显示部根据所述第1盖然性显示所述第1移动矢量及所述第1真移动矢量,根据所述第2盖然性显示所述第2移动矢量及所述第2真移动矢量。
10.根据权利要求1或2所述的摄像装置,
所述摄像装置还具备记录部,所述记录部记录所述第1图像、所述第1移动矢量、所述第1盖然性及所述第1真移动矢量、以及所述第2图像、所述第2移动矢量、所述第2盖然性及所述第2真移动矢量。
11.一种摄像装置的摄像方法,所述摄像装置具备摄像部,所述摄像部具有:摄影光学系统,包含分别设置于不同的区域且具有互不相同的摄像特性的第1光学系统及第2光学系统;及定向传感器,具备由二维状排列的光电转换元件构成的多个像素,对经由所述第1光学系统及所述第2光学系统入射的光束分别进行光瞳分割而通过所述多个像素选择性地进行受光,所述摄像方法的特征在于,包括:
图像读出工序,从所述定向传感器获取经由所述第1光学系统得到的第1图像的图像信号及经由所述第2光学系统得到的第2图像的图像信号;
移动矢量检测工序,检测所述第1图像中的被摄体的移动矢量即第1移动矢量及所述第2图像中的所述被摄体的移动矢量即第2移动矢量;
盖然性计算工序,计算第1盖然性及第2盖然性,所述第1盖然性表示所述第1移动矢量为由通过了所述第1光学系统的光束产生的移动矢量的盖然性,所述第2盖然性表示所述第2移动矢量为由通过了所述第2光学系统的光束产生的移动矢量的盖然性;及
移动矢量提取工序,根据所述第1盖然性与所述第2盖然性的比较,提取所述第1图像中的由通过了所述第1光学系统的光束产生的移动矢量即第1真移动矢量、或者所述第2图像中的由通过了所述第2光学系统的光束产生的移动矢量即第2真移动矢量。
12.根据权利要求11所述的摄像方法,其中,
所述第1光学系统及所述第2光学系统中的一个为广角光学系统,另一个为与所述广角光学系统具有共同的光轴的长焦光学系统。
13.根据权利要求11或12所述的摄像方法,其中,
在所述移动矢量检测工序中,
从连续获取的多个所述第1图像检测所述被摄体的第1特征点,并根据所检测到的所述第1特征点,检测大小互不相同的多个所述第1移动矢量,
从连续获取的多个所述第2图像检测所述被摄体的第2特征点,并根据所检测到的所述第2特征点,检测大小互不相同的多个所述第2移动矢量。
14.根据权利要求13所述的摄像方法,其中,
在所述盖然性计算工序中,对多个所述第1移动矢量的每一个计算所述第1盖然性,对多个所述第2移动矢量的每一个计算所述第2盖然性。
15.根据权利要求13所述的摄像方法,其中,
在所述盖然性计算工序中,根据所述第1特征点中的亮度信号及所述第2特征点中与所述第1特征点对应的特征点中的亮度信号,对多个所述第1移动矢量的每一个计算所述第1盖然性,对多个所述第2移动矢量的每一个计算所述第2盖然性。
16.根据权利要求11或12所述的摄像方法,其中,
在所述移动矢量提取工序中,
在关于多个所述第1移动矢量中的一个移动矢量的所述第1盖然性比关于与所述一个移动矢量对应的所述第2移动矢量的所述第2盖然性高时,判断为与所述一个移动矢量对应的所述第2移动矢量是由从所述第1光学系统向所述第2光学系统的串线引起的移动矢量,从而将所述一个移动矢量作为所述第1真移动矢量而提取,
在关于所述一个移动矢量的所述第1盖然性为关于与所述一个移动矢量对应的所述第2移动矢量的所述第2盖然性以下时,判断为所述一个移动矢量是由从所述第2光学系统向所述第1光学系统的串线引起的移动矢量,从而将所述第2移动矢量作为所述第2真移动矢量而提取。
17.根据权利要求11或12所述的摄像方法,其中,
所述摄像方法还包括:
摄像部转动工序,根据所提取的所述第1真移动矢量及所述第2真移动矢量使所述摄像部转动,
通过所述摄像部转动工序使所述摄像部转动,并且反复进行所述图像读出工序、所述移动矢量检测工序、所述盖然性计算工序及所述移动矢量提取工序。
18.根据权利要求17所述的摄像方法,其中,
在所述摄像部转动工序中,使所述摄像部转动,以使得在所述第1图像中检测到的被摄体在所述第2图像中也被检测。
19.一种计算机可读的记录介质,记录有使摄像装置执行权利要求11至18中任一项所述的摄像方法的程序。
CN201680046783.4A 2015-08-19 2016-03-15 摄像装置、摄像方法、及非暂时性记录介质 Active CN107925719B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-161765 2015-08-19
JP2015161765 2015-08-19
PCT/JP2016/058054 WO2017029827A1 (ja) 2015-08-19 2016-03-15 撮像装置、撮像方法、プログラム、及び非一時的記録媒体

Publications (2)

Publication Number Publication Date
CN107925719A CN107925719A (zh) 2018-04-17
CN107925719B true CN107925719B (zh) 2020-05-08

Family

ID=58051559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680046783.4A Active CN107925719B (zh) 2015-08-19 2016-03-15 摄像装置、摄像方法、及非暂时性记录介质

Country Status (5)

Country Link
US (1) US10552963B2 (zh)
EP (1) EP3340605B1 (zh)
JP (1) JP6442613B2 (zh)
CN (1) CN107925719B (zh)
WO (1) WO2017029827A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190327820A1 (en) * 2018-04-18 2019-10-24 Sportsbeams Lighting, Inc. Method and apparatus for managing large area lighting
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus
CN117999792A (zh) * 2021-09-30 2024-05-07 富士胶片株式会社 信息处理装置、方法及程序以及摄像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137012A (zh) * 2006-07-25 2008-03-05 富士胶片株式会社 拍摄装置、方法及程序
CN102455490A (zh) * 2010-10-28 2012-05-16 鸿富锦精密工业(深圳)有限公司 变焦镜头
WO2013146506A1 (ja) * 2012-03-27 2013-10-03 富士フイルム株式会社 撮像装置及び撮像方法
CN104469137A (zh) * 2013-09-20 2015-03-25 卡西欧计算机株式会社 图像处理装置及图像处理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105949B2 (ja) * 1989-03-20 1995-11-13 松下電器産業株式会社 画像の動きベクトル検出装置および揺れ補正装置
JP2007306406A (ja) * 2006-05-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理装置
TWI347449B (en) * 2006-09-07 2011-08-21 Largan Precision Co Ltd Optical lens assembly for taking image
JP4926920B2 (ja) * 2007-11-16 2012-05-09 キヤノン株式会社 防振画像処理装置及び防振画像処理方法
JP2011048276A (ja) * 2009-08-28 2011-03-10 Fujifilm Corp 立体撮像装置
JP5791241B2 (ja) * 2010-07-16 2015-10-07 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
WO2013024636A1 (ja) * 2011-08-16 2013-02-21 富士フイルム株式会社 撮像装置
JP6151632B2 (ja) * 2013-12-20 2017-06-21 富士フイルム株式会社 撮像モジュール及び撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137012A (zh) * 2006-07-25 2008-03-05 富士胶片株式会社 拍摄装置、方法及程序
CN102455490A (zh) * 2010-10-28 2012-05-16 鸿富锦精密工业(深圳)有限公司 变焦镜头
WO2013146506A1 (ja) * 2012-03-27 2013-10-03 富士フイルム株式会社 撮像装置及び撮像方法
CN104469137A (zh) * 2013-09-20 2015-03-25 卡西欧计算机株式会社 图像处理装置及图像处理方法

Also Published As

Publication number Publication date
EP3340605A4 (en) 2018-06-27
EP3340605A1 (en) 2018-06-27
CN107925719A (zh) 2018-04-17
WO2017029827A1 (ja) 2017-02-23
JP6442613B2 (ja) 2018-12-19
US10552963B2 (en) 2020-02-04
EP3340605B1 (en) 2019-08-21
US20180158195A1 (en) 2018-06-07
JPWO2017029827A1 (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
EP3110132B1 (en) Automatic tracking image-capture apparatus
CN109155842B (zh) 立体相机及立体相机的控制方法
EP3214832B1 (en) Imaging device and method for recognizing target object
CN105611124B (zh) 图像传感器、成像方法、成像装置及终端
JP5830348B2 (ja) 撮像装置
CN104052919B (zh) 摄像装置、摄像系统及信号处理装置
US8736742B2 (en) Image pickup apparatus that performs automatic focus control and control method for the image pickup apparatus
JP2018077190A (ja) 撮像装置及び自動制御システム
CN102884802A (zh) 三维成像装置和视点图像恢复方法
JP4823167B2 (ja) 撮像装置
CN107925719B (zh) 摄像装置、摄像方法、及非暂时性记录介质
CN113115027A (zh) 校准摄像头的方法和系统
US20190082109A1 (en) Imaging device, imaging method, program, and non-transitory recording medium
JP2016048824A (ja) 追尾装置、追尾システム、及び表示装置
JP5771955B2 (ja) 対象識別装置及び対象識別方法
CN112866546B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP2016048282A (ja) 撮像装置
JP2016046774A (ja) 撮像装置
JP2016046773A (ja) 撮像装置
EP4285345A1 (en) Correlation-based object anti-spoofing for dual-pixel cameras
JP2018010266A (ja) 焦点検出装置および焦点検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant