CN114616820A - 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及程序 - Google Patents

摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及程序 Download PDF

Info

Publication number
CN114616820A
CN114616820A CN202080075962.7A CN202080075962A CN114616820A CN 114616820 A CN114616820 A CN 114616820A CN 202080075962 A CN202080075962 A CN 202080075962A CN 114616820 A CN114616820 A CN 114616820A
Authority
CN
China
Prior art keywords
image
imaging
shake correction
target object
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080075962.7A
Other languages
English (en)
Inventor
藤木伸一郎
藤川哲也
田中淳一
川中子睦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114616820A publication Critical patent/CN114616820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/04Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/10Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/18Heads with mechanism for moving the apparatus relatively to the stand
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20Undercarriages with or without wheels
    • F16M11/2007Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2014Undercarriages with or without wheels comprising means allowing pivoting adjustment around a vertical axis
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F16M13/02Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

支援基于摄像装置的摄像的摄像支援装置包括:获取部,获取利用摄像元件拍摄摄像区域而得到的摄像图像内的既定位置与表示对象被摄体的对象被摄体图像的位置的图像内偏移量、摄像装置的焦距;导出部,根据由获取部获取的图像内偏移量、由获取部获取的焦距及与摄像元件内的像素的像素间隔有关的信息来导出移动量,所述移动量为利用调整在摄像图像内的对象被摄体图像的位置的位置调整部使对象被摄体图像的位置移动到特定位置所需要的移动量;及输出部,输出由导出部导出的移动量。

Description

摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援 方法及程序
技术领域
本发明涉及一种摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及程序。
背景技术
在日本特开2017-215350号公报中公开有一种图像抖动校正装置,其特征在于,具备:输出单元,输出与装置的抖动有关的抖动检测信号;检测单元,从摄影图像检测被摄体;通知单元,通知摄影状态;及控制单元,根据所检测到的被摄体的跟踪目标位置和抖动检测信号,使用校正单元执行被摄体的跟踪和图像抖动校正,控制单元根据摄影状态来确定优先执行被摄体的跟踪和图像抖动校正中的哪一个。
在日本特开2017-126960号公报中公开有一种图像抖动校正装置,其特征在于,具备:位置检测单元,检测画面内的被摄体的位置;速度检测单元,使用被摄体的位置在画面内的移动量来检测被摄体的速度;跟踪量计算单元,在连拍摄影中,根据即将摄影之前检测到的被摄体的位置和被摄体的速度来计算为了使被摄体移动到画面内的目标位置所需要的、使被摄体像在画面上移动的位移单元的校正量即跟踪量;及控制单元,根据跟踪量来驱动位移单元。
在日本特开2017-063340号公报中公开有一种图像抖动校正装置,其根据抖动检测信号,使用抖动校正单元来校正图像抖动,所述图像抖动校正装置的特征在于,具备:获取单元,获取与从摄影图像检测到的被摄体有关的被摄体信息;及控制单元,根据被摄体信息设定摄影视角内的被摄体的基准位置,并以使被摄体朝向基准位置的方式控制抖动校正单元。
发明内容
本发明的技术所涉及的一个实施方式提供一种能够支援拍摄包含对象被摄体的摄像区域时的对象被摄体的跟踪的摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及程序。
用于解决技术课题的手段
本发明的技术所涉及的第1方式为一种摄像支援装置,其支援基于包括摄像元件的摄像装置的摄像,该摄像支援装置包括:获取部,获取通过拍摄包含对象被摄体的摄像区域而得到的摄像图像内的既定位置与表示对象被摄体的对象被摄体图像的位置的图像内偏移量及摄像装置的焦距;导出部,根据由获取部获取的图像内偏移量、由获取部获取的焦距及与摄像元件内的像素的像素间隔有关的信息来导出移动量,该移动量为利用调整在摄像图像内的对象被摄体图像的位置的位置调整部使对象被摄体图像的位置移动到特定位置所需要的移动量;及输出由导出部导出的移动量。
本发明的技术所涉及的第2方式为本发明的技术所涉及的第1方式所涉及的摄像支援装置,其中,位置调整部具有:回转机构,安装有摄像装置,且能够使摄像装置进行回转;及抖动校正部,校正以施加于摄像装置的振动为原因而产生的抖动,该摄像支援装置还包括控制部,该控制部进行如下调整控制:通过使回转机构及抖动校正部中的至少一个根据移动量进行工作而调整在摄像图像内的对象被摄体图像的位置。
本发明的技术所涉及的第3方式为本发明的技术所涉及的第2方式所涉及的摄像支援装置,其中,根据利用回转机构调整对象被摄体图像的位置所需要的第1移动量和利用抖动校正部调整对象被摄体图像的位置所需要的第2移动量来确定移动量。
本发明的技术所涉及的第4方式为本发明的技术所涉及的第2方式或第3方式所涉及的摄像支援装置,其中,抖动校正部具有:透镜,通过根据振动进行移动而校正抖动;及作为摄像元件中的至少一个的抖动校正元件,在特定位置处,抖动校正元件位于抖动校正元件的可动范围的中心。
本发明的技术所涉及的第5方式为本发明的技术所涉及的第4方式所涉及的摄像支援装置,其中,获取部还获取抖动校正部的灵敏度,导出部根据可动范围的中心位置与抖动校正元件的当前位置的抖动校正元件偏移量及由获取部获取的灵敏度,导出使当前位置移动到中心位置所需要的抖动校正元件移动量来作为利用抖动校正部校正对象被摄体图像的位置所需要的第2移动量。
本发明的技术所涉及的第6方式为本发明的技术所涉及的第3方式至第5方式中任一项所涉及的摄像支援装置,其中,根据图像内偏移量与像素间隔的乘积除以焦距的值来确定第1移动量。
本发明的技术所涉及的第7方式为本发明的技术所涉及的第3方式至第6方式中任一项所涉及的摄像支援装置,其中,移动量通过将由导出部导出的第1移动量及第2移动量相加而得到。
本发明的技术所涉及的第8方式为本发明的技术所涉及的第2方式至第7方式中任一项所涉及的摄像支援装置,其中,控制部以时分方式进行基于抖动校正部的抖动的校正和调整控制。
本发明的技术所涉及的第9方式为本发明的技术所涉及的第8方式所涉及的摄像支援装置,其中,控制部在摄像装置通过回转机构进行回转的期间使抖动校正部进行抖动的校正,在基于回转机构的摄像装置的回转停止的期间进行调整控制。
本发明的技术所涉及的第10方式为本发明的技术所涉及的第8方式或第9方式所涉及的摄像支援装置,其中,调整控制为在进行基于回转机构的对象被摄体图像的位置调整之后进行基于抖动校正部的对象被摄体图像的位置调整的控制。
本发明的技术所涉及的第11方式为本发明的技术所涉及的第2方式至第10方式中任一项所涉及的摄像支援装置,其中,回转机构为能够使摄像装置向第1方向和与第1方向交叉的第2方向进行回转的双轴回转机构,抖动校正部为光学式抖动校正机构及电子式抖动校正部中的至少一个。
本发明的技术所涉及的第12方式为本发明的技术所涉及的第11方式所涉及的摄像支援装置,其中,光学式抖动校正机构为透镜移动式抖动校正机构及摄像元件移动式抖动校正机构中的至少一个。
本发明的技术所涉及的第13方式为本发明的技术所涉及的第1方式至第12方式中任一项所涉及的摄像支援装置,其中,获取部还获取与像素间隔有关的信息。
本发明的技术所涉及的第14方式为本发明的技术所涉及的第1方式至第13方式中任一项所涉及的摄像支援装置,其中,输出部将移动量输出到外部。
本发明的技术所涉及的第15方式为本发明的技术所涉及的第1方式至第14方式中任一项所涉及的摄像支援装置,其中,当对象被摄体正在移动时,根据对象被摄体的移动速度来确定移动量。
本发明的技术所涉及的第16方式为本发明的技术所涉及的第15方式所涉及的摄像支援装置,其中,移动速度为通过在不同的多个方向上进行分解而得到的多个速度。
本发明的技术所涉及的第17方式为一种摄像装置,其包括:本发明的技术所涉及的第1方式至第16方式中任一项所涉及的摄像支援装置;及摄像元件,摄像元件利用摄像支援装置进行摄像的支援。
本发明的技术所涉及的第18方式为一种摄像系统,其包括:本发明的技术所涉及的第17方式所涉及的摄像装置;及控制装置,进行使显示部显示根据由导出部导出的移动量反映了对象被摄体图像的位置的调整结果的图像的控制及使存储部存储表示反映了调整结果的图像的图像数据的控制中的至少一种。
本发明的技术所涉及的第19方式为一种摄像系统,其包括摄像支援装置和摄像元件,该摄像支援装置支援基于包括摄像元件的摄像装置的摄像,并且包括:获取部,获取通过拍摄包含对象被摄体的摄像区域而得到的摄像图像内的既定位置与表示对象被摄体的对象被摄体图像的位置的图像内偏移量及摄像装置的焦距;导出部,根据由获取部获取的图像内偏移量、由获取部获取的焦距及与摄像元件内的像素的像素间隔有关的信息来导出移动量,该移动量为利用调整在摄像图像内的对象被摄体图像的位置的位置调整部使对象被摄体图像的位置移动到特定位置所需要的移动量;及输出部,输出由导出部导出的移动量,位置调整部具有:回转机构,安装有摄像装置,且能够使摄像装置进行回转;及抖动校正部,校正以施加于摄像装置的振动为原因而产生的抖动,该摄像支援装置还包括控制部,该控制部进行如下调整控制:通过使回转机构及抖动校正部中的至少一个根据移动量进行工作而调整在摄像图像内的对象被摄体图像的位置。
本发明的技术所涉及的第20方式为一种摄像支援系统,其包括本发明的技术所涉及的第1方式至第16方式中任一项所涉及的摄像支援装置;及位置调整部,摄像支援装置中所包括的导出部导出移动量。
本发明的技术所涉及的第21方式为一种摄像支援方法,其支援基于包括摄像元件的摄像装置的摄像,所述摄像支援方法包括如下步骤:获取通过拍摄包含对象被摄体的摄像区域而得到的摄像图像内的既定位置与表示对象被摄体的对象被摄体图像的位置的图像内偏移量及焦距;根据所获取的图像内偏移量、所获取的焦距及摄像元件的像素的像素间隔来导出移动量,该移动量为利用调整在摄像图像内的对象被摄体图像的位置的位置调整部使对象被摄体图像的位置移动到特定位置所需要的移动量;以及输出所导出的移动量。
本发明的技术所涉及的第22方式为一种程序,其用于使计算机执行支援基于包括摄像元件的摄像装置的摄像的处理,其中,处理包括如下步骤:获取通过拍摄包含对象被摄体的摄像区域而得到的摄像图像内的既定位置与表示对象被摄体的对象被摄体图像的位置的图像内偏移量及焦距;根据所获取的图像内偏移量、所获取的焦距及摄像元件的像素的像素间隔来导出移动量,该移动量为利用调整在摄像图像内的对象被摄体图像的位置的位置调整部使对象被摄体图像的位置移动到特定位置所需要的移动量;以及输出所导出的移动量。
附图说明
图1是表示实施方式所涉及的监控系统的结构的一例的概略结构图。
图2是表示实施方式所涉及的监控摄像机的外观的一例的立体图。
图3是表示实施方式所涉及的监控摄像机的外观的一例的立体图。
图4是表示实施方式所涉及的监控摄像机的光学系统及电气系统的结构的一例的框图。
图5是表示实施方式所涉及的管理装置及回转机构的电气系统的结构的一例的框图。
图6是表示实施方式所涉及的监控摄像机中所包括的CPU的功能的一例的功能框图。
图7是表示实施方式所涉及的摄像图像的一例的概念图。
图8是用于说明实施方式所涉及的第1移动量的导出的概念图。
图9是用于说明实施方式所涉及的抖动校正元件的可动范围的概念图。
图10是用于说明实施方式所涉及的抖动校正元件的可动范围的概念图。
图11是表示由实施方式所涉及的显示部显示的画面显示例的概念图。
图12是用于说明实施方式所涉及的位置调整处理的概念图。
图13是表示实施方式所涉及的位置调整处理的流程的一例的流程图。
图14是表示实施方式所涉及的监控摄像机的显示部的一例的概念图。
图15是表示实施方式所涉及的监控摄像机中所包括的CPU的功能的变形例的功能框图。
图16是表示实施方式所涉及的监控摄像机的结构的一例的概略结构图。
图17是表示由实施方式所涉及的显示部显示的画面显示例的概念图。
图18是表示实施方式所涉及的监控摄像机中所包括的CPU的功能的变形例的功能框图。
图19是用于说明实施方式所涉及的位置调整处理的概念图。
图20是用于说明实施方式所涉及的位置调整处理的概念图。
图21A是表示实施方式所涉及的位置调整处理的流程的一例的流程图。
图21B是表示实施方式所涉及的速度判定处理的流程的一例的流程图。
图22是表示从存储有实施方式所涉及的位置调整程序的存储介质将位置调整程序安装于监控摄像机内的计算机中的方式的一例的概念图。
具体实施方式
按照附图对本发明的技术所涉及的实施方式的一例进行说明。
首先,对以下说明中所使用的词语进行说明。
CPU是指“Central Processing Unit(中央处理器)”的简称。GPU是指“GraphicsProcessing Unit(图形处理器)”的简称。ASIC是指“Application Specific IntegratedCircuit(专用集成电路)”的简称。PLD是指“Programmable Logic Device(可编程逻辑器件)”的简称。FPGA是指“Field-Programmable Gate Array(现场可编程门阵列)”的简称。AFE是指“Analog Front End(模拟前端)”的简称。DSP是指“Digital Signal Processor(数字信号处理器)”的简称。SoC是指“System-on-a-chip(片上系统)”的简称。SSD是指“SolidState Drive(固态驱动器)”的简称。USB是指“Universal Serial Bus(通用串行总线)”的简称。HDD是指“Hard Disk Drive(硬盘驱动器)”的简称。EEPROM是指“ElectricallyErasable and Programmable Read Only Memory(电可擦可编程只读存储器)”的简称。EL是指“Electro-Luminescence(电致发光)”的简称。A/D是指“Analog/Digital(模拟/数字)”的简称。I/F是指“Interface(接口)”的简称。UI是指“User Interface(用户界面)”的简称。WAN是指“Wide Area Network(广域网)”的简称。ISP是指“Image Signal Processor(图像信号处理器)”的简称。CMOS是指“Complementary Metal Oxide Semiconductor(互补金属氧化物半导体)”的简称。CCD是指“Charge Coupled Device(电荷耦合器件)”的简称。SWIR是指“Short-wavelength infrared(短波红外线)”的简称。
在本说明书的说明中,“铅垂”是指除了完全铅垂以外,包含本发明的技术所属技术领域中通常允许的误差的含义的铅垂。在本说明书的说明中,“水平”是指除了完全水平以外,包含本发明的技术所属技术领域中通常允许的误差的含义的水平。在本说明书的说明中,“平行”是指除了完全平行以外,包含本发明的技术所属技术领域中通常允许的误差的含义的平行。在本说明书的说明中,“垂直”是指除了完全垂直以外,包含本发明的技术所属技术领域中通常允许的误差的含义的垂直。在本说明书的说明中,“相同”是指除了完全相同以外,包含本发明的技术所属技术领域中通常允许的误差的含义的相同。
[第1实施方式]
作为一例,如图1所示,监控系统2具备监控摄像机10及管理装置11。监控系统2为本发明的技术所涉及的“摄像系统”及“摄像支援系统”的一例,监控摄像机10为本发明的技术所涉及的“摄像装置”的一例。
监控摄像机10经由后述的回转机构16设置于室内外的柱子、墙壁或建筑物的一部分(例如,屋顶)等上,并拍摄作为被摄体的监控对象,通过进行拍摄而生成动态图像。动态图像中包括通过进行拍摄而得到的多帧图像。监控摄像机10将通过进行拍摄而得到的动态图像经由通信线路12发送到管理装置11。
管理装置11具备显示器13及二次存储装置14。作为显示器13,例如可以举出液晶显示器或有机EL显示器等。另外,显示器13为本发明的技术所涉及的“显示部(显示器)”的一例。
作为二次存储装置14的一例,可以举出HDD。二次存储装置14只要为闪存、SSD或EEPROM等非易失性存储器即可,而不是HDD。另外,二次存储装置14为本发明的技术所涉及的“存储部(存储装置)”的一例。
在管理装置11中,接收由监控摄像机10发送的动态图像,将所接收到的动态图像显示于显示器13,或者存储于二次存储装置14中。
回转机构16上安装有监控摄像机10。回转机构16能够使监控摄像机10进行回转。具体而言,回转机构16为能够使监控摄像机10向第1方向和与第1方向交叉的第2方向进行回转的双轴回转机构。作为一例,如图2所示,回转机构16能够使监控摄像机10向以俯仰(pitch)轴PA为中心轴的回转方向(以下,也称为“俯仰方向”)进行回转。并且,作为一例,如图3所示,回转机构16能够使监控摄像机10向以偏航(yaw)轴YA为中心轴的回转方向(以下,称为“偏航方向”)进行回转。回转机构16为本发明的技术所涉及的“回转机构”的一例。并且,“俯仰方向”为本发明的技术所涉及的“第1方向”的一例,偏航方向为本发明的技术所涉及的“第2方向”的一例。另外,在本实施方式中,作为回转机构16,例示出双轴回转机构,但本发明的技术并不限定于此,即使适用三轴回转机构,本发明的技术也成立。
作为一例,如图4所示,监控摄像机10具备光学系统15及摄像元件25。摄像元件25位于光学系统15的后段。光学系统15具备物镜15A及透镜组15B。物镜15A及透镜组15B从监控对象侧(物体侧)到摄像元件25的受光面25A侧(像侧)沿着光学系统15的光轴OA以物镜15A及透镜组15B的顺序配置。透镜组15B中包括变焦透镜15B2等。变焦透镜15B2被支撑为能够通过移动机构21沿着光轴OA移动。移动机构21根据从变焦透镜用马达(省略图示)施加的动力而使变焦透镜15B2沿着光轴OA移动。并且,透镜组15B中包括防振透镜15B1。防振透镜15B1根据被施加的动力而向与防振透镜15B1的光轴垂直的方向变动。
通过如此构成的光学系统15,表示监控对象的监控对象光成像于受光面25A上。另外,摄像元件25为本发明的技术所涉及的“摄像元件”的一例。
施加于监控摄像机10的振动中,若为室外,则有由汽车的通过引起的振动、由风引起的振动及由道路施工引起的振动等,若为室内,则有由空调的动作引起的振动及由人的出入引起的振动等。并且,施加于监控摄像机10的振动中有使监控摄像机10通过回转机构16进行回转的期间的振动及开始或停止基于回转机构16的回转动作时的振动等。因此,在监控摄像机10中,以施加于监控摄像机10的振动(以下,也简称为“振动”)为原因而产生抖动。
另外,在本实施方式中,“抖动”是指在监控摄像机10中受光面25A上的被摄体像因光轴OA与受光面25A的位置关系发生变化而变动的现象。换言之,“抖动”也可以说是光轴OA以施加于监控摄像机10的振动为原因而倾斜,从而成像于受光面25A上而得到的光学像变动的现象。光轴OA的变动是指例如光轴OA相对于基准轴(例如,发生抖动之前的光轴OA)倾斜。以下,将以振动为原因而产生的抖动也简称为“抖动”。
因此,监控摄像机10具备抖动校正部51。抖动校正部51为本发明的技术所涉及的“抖动校正组件”的一例。抖动校正部51具有机械式抖动校正部29及电子式抖动校正部33。抖动校正部51校正抖动。机械式抖动校正部29为本发明的技术所涉及的“光学式抖动校正机构”的一例。机械式抖动校正部29为如下机构:通过将由马达(例如,音圈马达)等驱动源生成的动力赋予给防振透镜而使防振透镜向与摄像光学系统的光轴垂直的方向移动,由此校正抖动。电子式抖动校正部33通过根据抖动量对摄像图像实施图像处理而校正抖动。即,抖动校正部51通过硬件结构和/或软件结构机械地或电子地进行抖动的校正。在此,机械地抖动校正是指通过使用由马达(例如,音圈马达)等驱动源生成的动力使防振透镜和/或摄像元件等的抖动校正元件机械地移动而实现的抖动的校正,电子地抖动校正例如是指通过利用处理器进行图像处理而实现的抖动的校正。另外,在本实施方式中,“抖动的校正”中,除了消除抖动的含义以外,还包括减少抖动的含义。
机械式抖动校正部29具备防振透镜15B1、致动器17、驱动器23及位置检测传感器39。
作为基于机械式抖动校正部29的抖动的校正方法,能够采用周知的各种方法。在本实施方式中,作为抖动的校正方法,采用通过根据由抖动量检测传感器40(后述)检测到的抖动量使防振透镜15B1移动而校正抖动的方法。具体而言,通过向消除抖动的方向使防振透镜15B1仅移动消除抖动的量而进行抖动的校正。
在防振透镜15B1上安装有致动器17。致动器17为搭载有音圈马达的位移机构,其通过驱动音圈马达而使防振透镜15B1向与防振透镜15B1的光轴垂直的方向变动。另外,在此,作为致动器17,采用搭载有音圈马达的位移机构,但本发明的技术并不限定于此,也可以适用步进马达或压电元件等其他动力源来代替音圈马达。
致动器17由驱动器23控制。通过在驱动器23的控制下驱动致动器17,防振透镜15B1的位置相对于光轴OA机械地变动。
位置检测传感器39检测防振透镜15B1的当前位置,并输出表示所检测到的当前位置的位置信号。在此,作为位置检测传感器39的一例,采用包括霍尔元件的器件。在此,防振透镜15B1的当前位置是指防振透镜二维平面内的当前位置。防振透镜二维平面是指与防振透镜15B1的光轴垂直的二维平面。另外,在本实施方式中,作为位置检测传感器39的一例,采用包括霍尔元件的器件,但本发明的技术并不限定于此,也可以采用磁传感器或光传感器等来代替霍尔元件。
监控摄像机10具备计算机19、DSP31、图像存储器32、电子式抖动校正部33、通信I/F34、抖动量检测传感器40及UI系器件43。计算机19具备存储器35、存储装置36及CPU37。电子式抖动校正部33为本发明的技术所涉及的“电子式抖动校正部”的一例。并且,CPU37为本发明的技术所涉及的“摄像支援装置”的一例。
摄像元件25、DSP31、图像存储器32、电子式抖动校正部33、通信I/F34、存储器35、存储装置36、CPU37、抖动量检测传感器40及UI系器件43连接于总线38。并且,驱动器23也连接于总线38。另外,在图4所示的例子中,为了方便图示,作为总线38,图示出一根总线,但也可以为多根总线。总线38可以为串行总线,也可以为包括数据总线、地址总线及控制总线等的并行总线。
存储器35临时存储各种信息,且用作工作存储器。作为存储器35的一例,可以举出RAM,但并不限于此,也可以为其他种类的存储装置。存储装置36为非易失性存储装置。在此,作为存储装置36的一例,采用闪存。闪存仅仅是一例,作为存储装置36,例如也可以代替闪存或与闪存一并举出磁阻存储器和/或铁电存储器等各种非易失性存储器。并且,非易失性存储装置也可以为EEPROM、HDD和/或SSD等。存储装置36中存储有监控摄像机10用的各种程序。CPU37通过从存储装置36中读出各种程序并在存储器35上执行所读出的各种程序而控制监控摄像机10整体。
摄像元件25为CMOS图像传感器。摄像元件25在CPU37的指示下以既定的帧速率拍摄监控对象。在此所说的“既定的帧速率”例如是指几十帧/秒至几百帧/秒。另外,在摄像元件25其本身中也可以内置有控制装置(摄像元件控制装置),在该情况下,摄像元件控制装置根据CPU37所输出的摄像指示进行摄像元件25内部的详细控制。并且,摄像元件25也可以在DSP31的指示下以既定的帧速率拍摄对象被摄体,在该情况下,摄像元件控制装置根据DSP31所输出的摄像指示进行摄像元件25内部的详细控制。另外,DSP31有时也称为ISP。
受光面25A由配置成矩阵状的多个感光像素(省略图示)形成。在摄像元件25中,各感光像素被曝光,按每个感光像素进行光电转换。通过按每个感光像素进行光电转换而得到的电荷为表示监控对象的模拟摄像信号。在此,作为多个感光像素,采用对可见光具有灵敏度的多个光电转换元件(作为一例,配置有滤色器的光电转换元件)。在摄像元件25中,作为多个光电转换元件,采用对R(红色)的光具有灵敏度的光电转换元件(例如,配置有与R对应的R滤色器的光电转换元件)、对G(绿色)的光具有灵敏度的光电转换元件(例如,配置有与G对应的G滤色器的光电转换元件)及对B(蓝色)的光具有灵敏度的光电转换元件(例如,配置有与B对应的B滤色器的光电转换元件)。在监控摄像机10中,通过使用这些感光像素,进行基于可见光(例如,约700纳米以下的短波长侧的光)的摄像。但是,本实施方式并不限定于此,也可以进行基于红外光(例如,比约700纳米长波长侧的光)的拍摄。在该情况下,作为多个感光像素,使用对红外光具有灵敏度的多个光电转换元件即可。尤其,对于关于SWIR的摄像,例如使用InGaAs传感器和/或二型量子阱(T2SL;Simulation of Type-II QuantumWell)传感器等即可。
摄像元件25对模拟摄像信号进行A/D转换等信号处理而生成作为数字摄像信号的数字图像。摄像元件25经由总线38连接于DSP31,将所生成的数字图像经由总线38以帧单位输出到DSP31。在此,数字图像为本发明的技术所涉及的“摄像图像”的一例。
另外,在此,作为摄像元件25的一例,举出CMOS图像传感器进行了说明,但本发明的技术并不限定于此,也可以适用CCD图像传感器作为摄像元件25。在该情况下,摄像元件25经由CCD驱动器内置的AFE(省略图示)连接于总线38,AFE通过对由摄像元件25得到的模拟摄像信号实施A/D转换等信号处理而生成数字图像,并将所生成的数字图像输出到DSP31。CCD图像传感器由内置于AFE中的CCD驱动器驱动。当然,也可以单独设置CCD驱动器。
DSP31对数字图像实施各种数字信号处理。各种数字信号处理例如是指去马赛克处理、噪声去除处理、灰度校正处理及色彩校正处理等。
DSP31按每个帧将数字信号处理后的数字图像输出到图像存储器32。图像存储器32存储来自DSP31的数字图像。另外,以下,为了便于说明,将存储于图像存储器32中的数字图像也称为“摄像图像”。
抖动量检测传感器40例如为包括陀螺仪传感器的器件,其检测监控摄像机10的抖动量。换言之,抖动量检测传感器40在一对轴向的每一个上检测抖动量。陀螺仪传感器检测围绕俯仰轴PA、偏航轴YA及翻滚轴RA(与光轴OA平行的轴)的各轴(参考图1)的旋转抖动的量。抖动量检测传感器40通过将由陀螺仪传感器检测到的围绕俯仰轴PA的旋转抖动的量及围绕偏航轴YA的旋转抖动的量转换为与俯仰轴PA及偏航轴YA平行的二维状面内的抖动量来检测监控摄像机10的抖动量。
在此,作为抖动量检测传感器40的一例,举出了陀螺仪传感器,但这仅仅是一例,抖动量检测传感器40也可以为加速度传感器。加速度传感器检测与俯仰轴PA和偏航轴YA平行的二维状面内的抖动量。抖动量检测传感器40将所检测到的抖动量输出到CPU37。
并且,在此,举出了由抖动量检测传感器40这一物理传感器检测抖动量的方式例,但本发明的技术并不限定于此。例如,也可以将通过比较存储于图像存储器32中的时间序列前后的摄像图像而得到的移动矢量用作抖动量。并且,也可以根据由物理传感器检测到的抖动量和通过图像处理得到的移动矢量来导出最终使用的抖动量。
CPU37获取由抖动量检测传感器40检测到的抖动量,并根据所获取的抖动量来控制机械式抖动校正部29及电子式抖动校正部33。由抖动量检测传感器40检测到的抖动量用于基于机械式抖动校正部29及电子式抖动校正部33各自的抖动的校正。机械式抖动校正部29及电子式抖动校正部33根据由抖动量检测传感器40检测到的抖动量而校正抖动。
电子式抖动校正部33为包括ASIC的器件。电子式抖动校正部33通过根据由抖动量检测传感器40检测到的抖动量对图像存储器32内的摄像图像实施图像处理而校正抖动。
另外,在此,作为电子式抖动校正部33,例示出包括ASIC的器件,但本发明的技术并不限定于此,例如也可以为包括FPGA或PLD的器件。并且,例如,电子式抖动校正部33也可以为包括ASIC、FPGA及PLD中的多个的器件。并且,作为电子式抖动校正部33,也可以采用包括CPU、存储器及存储器的计算机。CPU可以为单个,也可以为多个。并且,电子式抖动校正部33也可以通过硬件结构与软件结构的组合来实现。
通信I/F34例如为网络接口,经由网络在与管理装置11之间进行各种信息的传输控制。作为网络的一例,可以举出互联网或公用通信网等WAN。其掌管监控摄像机10与管理装置11之间的通信。
UI系器件43具备接收器件43A及显示器43B。接收器件43A例如为硬键及触摸面板等,其接收来自监控系统2的使用者等(以下,也简称为“使用者等”)的各种指示。CPU37获取由接收器件43A接收到的各种指示,并按照所获取的指示进行动作。
显示器43B在CPU37的控制下显示各种信息。作为显示于显示器43B的各种信息,例如可以举出由接收器件43A接收到的各种指示的内容及摄像图像等。
作为一例,如图5所示,回转机构16具备偏航轴回转机构71、俯仰轴回转机构72、马达73、马达74、驱动器75及驱动器76。偏航轴回转机构71使监控摄像机10向偏航方向进行回转。马达73通过在驱动器75的控制下驱动而生成动力。偏航轴回转机构71通过接受由马达73生成的动力而使监控摄像机10向偏航方向进行回转。马达74通过在驱动器76的控制下驱动而生成动力。俯仰轴回转机构72通过接受由马达74生成的动力而使监控摄像机10向俯仰方向进行回转。
作为一例,如图5所示,管理装置11具备显示器13、二次存储装置14、控制装置60、接收器件62及通信I/F66~68。控制装置60具备CPU60A、存储装置60B及存储器60C。接收器件62、显示器13、CPU60A、存储装置60B、存储器60C及通信I/F66~68各自连接于总线70。另外,在图5所示的例子中,为了方便图示,作为总线70,图示出一根总线,但也可以为多根总线。总线70可以为串行总线,也可以为包括数据总线、地址总线及控制总线等的并行总线。
存储器60C临时存储各种信息,且用作工作存储器。作为存储器60C的一例,可以举出RAM,但并不限于此,也可以为其他种类的存储装置。存储装置60B为非易失性存储装置。在此,作为存储装置60B的一例,采用闪存。闪存仅仅是一例,作为存储装置60B,例如也可以代替闪存或与闪存一并举出磁阻存储器和/或铁电存储器等各种非易失性存储器。并且,非易失性存储装置也可以为EEPROM、HDD和/或SSD等。存储装置60B中存储有管理装置11用的各种程序(以下,简称为“管理装置用程序”)。CPU60A通过从存储装置60B中读出管理装置用程序并在存储器60C上执行所读出的管理装置用程序而控制管理装置11整体。
通信I/F66例如为网络接口。通信I/F66连接成能够经由网络对监控摄像机10的通信I/F34进行通信,且在与监控摄像机10之间进行各种信息的传输控制。例如,通信I/F66对监控摄像机10请求发送摄像图像,并接收根据摄像图像的发送请求从监控摄像机10的通信I/F34发送的摄像图像。
通信I/F67及68例如为网络接口。通信I/F67连接成能够经由网络对驱动器75进行通信。CPU60A通过经由通信I/F67及驱动器75控制马达73来控制偏航轴回转机构71的回转动作。通信I/F68连接成能够经由网络对驱动器76进行通信。CPU60A通过经由通信I/F68及驱动器76控制马达74来控制俯仰轴回转机构72的回转动作。
接收器件62例如为键盘、鼠标及触摸面板等,其接收来自使用者等的各种指示。CPU60A获取由接收器件62接收到的各种指示,并按照所获取的指示进行动作。
显示器13在CPU60A的控制下显示各种信息。作为显示于显示器13的各种信息,例如可以举出由接收器件62接收到的各种指示的内容及由通信I/F66接收到的摄像图像等。
二次存储装置14在CPU60A的控制下存储各种信息。作为存储于二次存储装置14中的各种信息,例如可以举出由通信I/F66接收到的摄像图像等。
如此,控制装置60进行使显示器13显示由通信I/F66接收到的摄像图像的控制及使二次存储装置14存储由通信I/F66接收到的摄像图像的控制。显示于显示器13的摄像图像为本发明的技术所涉及的“反映了对象被摄体图像的位置的调整结果的图像”的一例。并且,存储于二次存储装置14中的摄像图像为本发明的技术所涉及的“图像数据”的一例。
另外,在此,使显示器13显示摄像图像且使二次存储装置14存储由通信I/F66接收到的摄像图像,但本发明的技术并不限定于此。例如,也可以进行摄像图像对显示器13的显示和摄像图像对二次存储装置14的存储中的任一种。
在监控摄像机10中设置有跟踪对象被摄体的功能(以下,也称为“跟踪功能”)。当通过跟踪功能跟踪对象被摄体时,优选预先使表示摄像区域中所包含的对象被摄体(例如,特定的人物)的对象被摄体图像在摄像图像内的位置与摄像图像内的既定位置对齐,以备对象被摄体的移动。例如,这是因为若使对象被摄体图像的位置与摄像图像的中心位置对齐,则能够应对向各种方向的对象被摄体图像的位置变化。
因此,为了使对象被摄体图像在摄像图像内的位置与摄像图像内的既定位置对齐,作为一例,如图6所示,存储装置36中存储有位置调整程序36A,利用CPU37执行位置调整程序36A。具体而言,CPU37通过从存储装置36中读出位置调整程序36A并在存储器35上执行所读出的位置调整程序36A而作为支援基于包括摄像元件25的监控摄像机10的摄像的摄像支援装置发挥作用。如此,CPU37通过作为摄像支援装置发挥作用而支援将基于监控摄像机10的对象被摄体图像的位置设为摄像图像的中心位置(以下,也称为“图像中心位置”)的状态下的摄像。另外,图像中心位置为本发明的技术所涉及的“既定位置”及“特定位置”的一例。
为了实现将基于监控摄像机10的对象被摄体图像的位置设为特定位置的状态下的摄像的支援,监控摄像机10具备位置调整部52。位置调整部52具有回转机构16和抖动校正部51,其调整在摄像图像内的对象被摄体图像的位置。CPU37通过控制位置调整部52而支援基于监控摄像机10的摄像。位置调整部52为本发明的技术所涉及的“位置调整器件”的一例。
并且,CPU37根据各种信息导出利用位置调整部52使对象被摄体图像的位置移动到图像中心位置所需要的移动量。并且,CPU37输出所导出的移动量。通过根据移动量控制位置调整部52,能够使对象被摄体图像的位置与图像中心位置对齐,从而可支援对象被摄体的跟踪。
CPU37通过在存储器35上执行位置调整程序36A而作为获取部37A、导出部37B、控制部37C、输出部37D及判定部37E进行动作。获取部37A为本发明的技术所涉及的“获取部”的一例。导出部37B为本发明的技术所涉及的“导出部”的一例。控制部37C为本发明的技术所涉及的“控制部”的一例。输出部37D为本发明的技术所涉及的“输出部”的一例。CPU37为本发明的技术所涉及的“处理器”的一例,存储器35为本发明的技术所涉及的“存储器”的一例。
判定部37E从图像存储器32获取摄像图像,并对所获取的摄像图像进行关于对象被摄体图像的图像识别。存储装置36中存储有图像识别用词库36B。图像识别用词库36B中登记有成为图像识别对象的对象被摄体图像(例如,表示特定的物体的图像)。判定部37E参考存储装置36的图像识别用词库36B来判定在摄像图像内是否包含对象被摄体图像。并且,当在摄像图像内包含对象被摄体图像时,判定部37E判定对象被摄体图像的位置是否位于图像中心位置。
当利用判定部37E判定为对象被摄体图像的位置位于图像中心位置时,获取部37A从图像存储器32获取摄像图像,并参考所获取的摄像图像来获取图像中心位置与对象被摄体图像的位置的偏移量(以下,也称为“图像内偏移量”)。获取部37A计算对象被摄体图像的像素坐标相对于图像中心位置的偏移量(参考图7)。像素坐标的偏移量为本发明的技术所涉及的“图像内偏移量”的一例。
获取部37A获取监控摄像机10的焦距。具体而言,获取部37A监控在光轴OA上的变焦透镜15B2的位置,并根据监控结果导出焦距。焦距的导出例如能够通过由获取部37A使用监控结果与焦距建立有对应关系的焦距导出用表或将监控结果作为自变量并将焦距作为因变量的焦距导出用算术表达式来实现。
存储装置36中存储有抖动校正部51的灵敏度(以下,也简称为“灵敏度”)及摄像元件25的像素的像素间隔(以下,也简称为“像素间隔”)。获取部37A从存储装置36获取灵敏度。在此,灵敏度是指每单位抖动角的受光面25A中的摄像区域的移动量与为了使受光面25A中的摄像区域移动1度所需要的抖动校正部51的可动量的乘积。并且,获取部37A从存储装置36获取像素间隔。
导出部37B导出利用位置调整部52使对象被摄体图像的位置移动到图像中心位置所需要的移动量。具体而言,导出部37B根据由获取部37A获取的图像内偏移量、由获取部37A获取的焦距及像素间隔来导出移动量。像素间隔为作为本发明的技术所涉及的“与像素间隔有关的信息”的一例。
另外,在此举出了存储装置36中存储有像素间隔且利用获取部37A从存储装置36获取像素间隔的方式例,但本发明的技术并不限定于此,也可以利用获取部37A或导出部37B根据摄像图像的尺寸及像素数导出像素间隔。在该情况下,与摄像图像的尺寸及像素数有关的信息为本发明的技术所涉及的“与像素间隔有关的信息”的一例。
并且,获取部37A也可以从摄像元件25获取与像素间隔有关的信息。在该情况下,作为与像素间隔有关的信息,导出部37B在导出移动量时可以使用由获取部37A获取的与像素间隔有关的信息。
控制部37C进行如下调整控制:通过使位置调整部52根据由导出部37B导出的移动量进行工作而调整在摄像图像内的对象被摄体图像的位置。控制部37C进行如下调整控制:通过使位置调整部52中所包括的回转机构16及抖动校正部51根据由导出部37B导出的移动量进行工作而调整在摄像图像内的对象被摄体图像的位置。
另外,在此举出控制部37C使位置调整部52的回转机构16及抖动校正部51这两个进行工作的方式例进行了说明,但本发明的技术并不限定于此。例如,控制部37C也可以使回转机构16或抖动校正部51根据由导出部37B导出的移动量进行工作。
控制部37C以时分方式进行基于抖动校正部51的抖动的校正和调整在摄像图像内的对象被摄体图像的位置的调整控制。具体而言,控制部37C在监控摄像机10通过回转机构16进行回转的期间使抖动校正部51进行抖动的校正。控制部37C在基于回转机构16的监控摄像机10的回转(以下,也称为“未调整时的回转”)停止的期间进行调整控制。在此,基于回转机构16的监控摄像机10的回转大体分为未调整时的回转(通常时的回转)和调整时的回转(通常时以外的回转)。调整时的回转是指基于通过进行调整控制而进行工作的回转机构16的对象被摄体图像的位置调整时的回转。换言之,调整时是指与未调整时不同的时刻,进一步换言之,是指未进行基于抖动校正部51的抖动校正的时刻。作为调整控制,控制部37C以在进行基于回转机构16的对象被摄体图像的位置调整之后进行基于抖动校正部51的对象被摄体图像的位置调整的方式进行对回转机构16及抖动校正部51的控制。
输出部37D输出由导出部37B导出的移动量。具体而言,输出部37D将由导出部37B导出的移动量输出到管理装置11。管理装置11为本发明的技术所涉及的“外部”的一例。
接着,对由导出部37B导出的移动量(以下,也简称为“移动量”)的导出方法的一例进行说明。根据利用回转机构16调整对象被摄体图像的位置所需要的第1移动量和利用抖动校正部51调整对象被摄体图像的位置所需要的第2移动量来确定移动量。具体而言,通过将与回转机构16有关的第1移动量和与抖动校正部51有关的第2移动量相加来确定由导出部37B导出的移动量。
作为一例,如图8所示,根据图像内偏移量与像素间隔的乘积除以焦距的值来确定第1移动量。作为一例,导出部37B通过以下的计算式(1)导出第1移动量。另外,通过以下的计算式(1)求出的平摇倾斜(pan tilt)角θ为本发明的技术所涉及的“第1移动量”的一例。
θ=arctan(p×t/L)……(1)
计算式(1)中,θ为平摇倾斜角度[deg],p为对象被摄体图像位置的像素坐标的偏移量[pixel],t为摄像元件的像素间隔[mm/pixel],L为焦距[mm]。
并且,导出部37B导出第2移动量。具体而言,利用导出部37B导出第2移动量来作为使抖动校正部51的抖动校正元件从当前位置移动到中心位置所需要的移动量。作为一例,如图9所示,出于监控摄像机10的结构上的制约等原因,对作为抖动校正部51的抖动校正元件的防振透镜15B1规定有可动范围。因此,作为一例,如图10所示,若防振透镜15B1(以下,不标注符号而也称为“抖动校正元件”)在可动范围内位于从中心位置偏移的位置,则根据抖动的校正中所需要的校正量,有时基于抖动校正部51的对象被摄体的跟踪受到限制。即,当对象被摄体向抖动校正元件的可动范围外的方向移动时,难以进行基于抖动校正部51的对象被摄体的跟踪。因此,导出部37B导出使抖动校正元件移动到可动范围的中心位置(以下,也简称为“可动范围中心位置”)所需要的移动量即第2移动量。
导出部37B根据抖动校正元件偏移量及由获取部37A获取的与抖动校正部51的灵敏度有关的信息来导出使抖动校正元件从当前位置移动到可动范围中心位置所需要的抖动校正元件移动量。抖动校正元件的偏移量为可动范围中心位置与抖动校正元件的当前位置之间的距离,根据从位置检测传感器39输出的信息由获取部37A获取。
作为一例,导出部37B通过以下的计算式(2)计算第2移动量。另外,通过以下的计算式求出的平摇倾斜角φ为本发明的技术所涉及的“第2移动量”的一例。
φ=N/k……(2)
计算式(2)中,N为抖动校正元件偏移量[mm],k为灵敏度[mm/deg]。
另外,在本实施方式中,举出通过使防振透镜15B1移动而校正抖动的方式例进行了说明,但本发明的技术并不限定于此。例如,也可以通过代替防振透镜15B1而使摄像元件25在与防振透镜二维平面平行的面内移动来校正抖动。在该情况下,能够在摄像元件25的可动范围内校正抖动。并且,摄像元件25的可动范围从中心位置的偏移量由摄像元件25的位置检测传感器(省略图示)获取。另外,在抖动的校正中,当使用摄像元件25来代替防振透镜15B1时,摄像元件25为本发明的技术所涉及的“抖动校正元件”的一例。在该情况下,作为本发明的技术所涉及的“抖动校正组件”的一例的摄像元件移动式抖动校正机构(省略图示)通过将由马达(例如,音圈马达)等驱动源生成的动力赋予给摄像元件而使摄像元件向与摄像光学系统的光轴垂直的方向移动,由此校正抖动。
并且,作为本发明的技术所涉及的“抖动校正组件”及“光学式抖动校正机构”的一例的机械式抖动校正机构(省略图示)也可以通过使用由马达(例如,音圈马达)等驱动源生成的动力使防振透镜15B1及摄像元件25这两个移动而校正抖动。在该情况下,能够在防振透镜15B1及摄像元件25各自的可动范围内校正抖动。另外,在该情况下,防振透镜15B1及摄像元件25为本发明的技术所涉及的“抖动校正元件”的一例。
导出部37B通过将第1移动量和第2移动量相加而导出移动量。由导出部37B导出的移动量由输出部37D输出。作为一例,如图11所示,由输出部37D输出的移动量显示于管理装置11的显示器13。具体而言,在显示器13上显示摄像图像,且在与摄像图像相邻的位置,平摇倾斜角度作为移动量图表化而显示于移动量显示画面。使用者等一边参考显示于移动量显示画面的移动量,一边使监控摄像机10进行回转。
另外,在图11所示的例子中,示出移动量显示画面被可见显示的情况,但也可以进行基于语音播放装置(省略图示)的语音的输出等可听显示、基于打印机的印刷物的输出等永久可见显示或基于震动器的触觉显示来代替可见显示,也可以与可见显示并用。
在此,作为一例,假设如图12上段所示,在由控制部37C进行的调整控制的初始状态(以下,也简称为“初始状态”)下,对象被摄体图像的位置从图像中心位置偏移。并且,假设在初始状态下,抖动校正元件的当前位置也从可动范围中心位置偏移。在该情况下,由导出部37B导出的移动量显示于移动量显示画面。
使用者等通过基于所显示的移动量使回转机构16回转动作而使监控摄像机10回转(参考图12中段)。摄像图像内的对象被摄体图像的位置调整通过使回转机构16进行工作来进行。
在基于回转机构16的对象被摄体图像的位置调整之后(参考图12中段),进行基于抖动校正部51的对象被摄体图像的位置调整(参考图12下段)。基于抖动校正部51的对象被摄体图像的位置调整的解像力高于基于回转机构16的对象被摄体图像的位置调整的解像力。即,关于对象被摄体图像的位置调整,使用者等首先进行基于回转机构16的粗调之后,进行基于抖动校正部51的微调。若进行基于抖动校正部51的对象被摄体图像的位置调整,则对象被摄体图像的位置移动到图像中心位置。即,显示反映了对象被摄体图像的位置的调整结果的图像作为摄像图像。并且,当对象被摄体图像的位置位于图像中心位置时,抖动校正部51的抖动校正元件位于可动范围的中心。
接着,参考图13对监控系统2的本发明的技术所涉及的部分的作用进行说明。在图13中示出由CPU37执行的位置调整处理的流程的一例。另外,图13所示的位置调整处理的流程为本发明的技术所涉及的“摄像支援方法”的一例。
在图13所示的位置调整处理中,首先,在步骤ST10中,判定部37E判定在摄像图像内是否包含对象被摄体图像。在步骤ST10中,当在摄像图像内包含对象被摄体图像时,判定被肯定,位置调整处理转移到步骤ST12。在步骤ST10中,当在摄像图像内不包含对象被摄体图像时,判定被否定,位置调整处理转移到步骤ST32。
在步骤ST12中,判定部37E判定对象被摄体图像的位置是否位于图像中心位置。当对象被摄体图像的位置位于图像中心位置时,判定被肯定,位置调整处理转移到步骤ST10。在步骤ST12中,当对象被摄体图像的位置不在图像中心位置时,判定被否定,位置调整处理转移到步骤ST14。
在步骤ST14中,判定部37E判定是否为了使对象被摄体图像的位置移动到图像中心位置而需要进行基于回转机构16的位置调整。在步骤ST14中,当无需进行基于回转机构16的位置调整时,判定被否定,位置调整处理转移到步骤ST20。在步骤ST14中,当需要进行基于回转机构16的位置调整时,判定被肯定,位置调整处理转移到ST16。
在步骤ST16中,获取部37A获取图像内偏移量、焦距及像素间隔。然后,位置调整处理转移到步骤ST18。
在步骤ST18中,导出部37B根据步骤ST18中所获取的图像内偏移量及焦距以及像素间隔来导出第1移动量。然后,位置调整处理转移到步骤ST20。
在步骤ST20中,获取部37A判定抖动校正元件是否位于可动范围中心位置。在步骤ST20中,当抖动校正元件位于可动范围中心位置时,判定被肯定,位置调整处理转移到步骤ST26。在步骤ST20中,当抖动校正元件不在可动范围的中心位置时,判定被否定,然后,位置调整处理转移到步骤ST22。
在步骤ST22中,获取部37A获取抖动校正元件偏移量及灵敏度。然后,位置调整处理转移到步骤ST24。
在步骤ST24中,导出部37B根据抖动校正元件偏移量及灵敏度来导出第2移动量。然后,位置调整处理转移到步骤ST26。
在步骤ST26中,导出部37B根据第1移动量及第2移动量来导出移动量。然后,位置调整处理转移到步骤ST28。
在步骤ST28中,输出部37D输出移动量。然后,位置调整处理转移到步骤ST30。
在步骤ST30中,判定部37E判定抖动校正元件是否已成为可动范围的中心位置。在步骤ST30中,当抖动校正元件不在可动范围的中心位置时,判定被否定,然后,位置调整处理转移到步骤ST30。在步骤ST30中,当抖动校正元件位于可动范围中心位置时,判定被肯定,位置调整处理转移到步骤ST32。
在步骤ST32中,判定部37E判定是否满足结束位置调整处理的条件(以下,称为“位置调整处理结束条件”)。作为位置调整处理结束条件,例如可以举出由接收器件62接收到结束位置调整处理的指示的条件。在步骤ST32中,当不满足位置调整处理结束条件时,判定被否定,位置调整处理转移到步骤ST10。在步骤ST32中,当满足位置调整处理结束条件时,判定被肯定,位置调整处理结束。
如以上说明,在监控摄像机10中,有时在拍摄包含对象被摄体的摄像区域时会跟踪对象被摄体。在该情况下,有时要求预先将摄像图像内的对象被摄体图像的位置设在特定位置,以备对象被摄体的移动。
因此,在监控摄像机10中,根据图像内偏移量、焦距及与像素间隔有关的信息来导出利用位置调整部52使摄像图像内的对象被摄体图像的位置移动到特定位置所需要的移动量。并且,在监控摄像机10中,输出所导出的移动量。因此,在监控摄像机10中,能够支援拍摄包含对象被摄体的摄像区域时的对象被摄体的跟踪。
并且,在监控摄像机10中,使用回转机构16及抖动校正部51作为位置调整部52。因此,与另外设置位置调整部52的情况相比,通过使用已设置的回转机构及抖动校正部51作为位置调整部52,可简化结构。
并且,在监控摄像机10中,根据利用回转机构16调整对象被摄体图像的位置所需要的第1移动量和利用抖动校正部51调整对象被摄体图像的位置所需要的第2移动量来确定移动量。因此,与回转机构16及抖动校正部51的移动量为既定的值的情况相比,可设定分别适合于回转机构16及抖动校正部51的移动量。
并且,在监控摄像机10中,抖动校正部51具有防振透镜15B1及摄像元件25中的至少一个即抖动校正元件,当对象被摄体图像的位置为特定位置时,抖动校正元件位于抖动校正元件的可动范围的中心。因此,与使对象被摄体图像的位置与特定位置对齐一时抖动校正元件位于中心以外的场所的情况相比,能够将能够跟踪对象被摄体图像的范围确保为较宽。
并且,在监控摄像机10中,获取抖动校正部51的灵敏度,根据抖动校正元件的偏移量及灵敏度来导出使抖动校正元件的当前位置移动到可动范围的中心位置所需要的移动量作为第2移动量。因此,与基于抖动校正部51的对象被摄体图像的位置的移动量为不变值的情况相比,由于根据抖动校正元件偏移量及灵敏度来确定,因此可准确地求出对象被摄体图像的移动量。
并且,在监控摄像机10中,以图像内偏移量与像素间隔的乘积除以焦距的值来确定第1移动量。因此,与回转机构16的对象被摄体图像的位置的移动量为不变值的情况相比,由于根据图像内偏移量、像素间隔、焦距来确定,因此可准确地求出对象被摄体图像的移动量。
并且,在监控摄像机10中,移动量通过将第1移动量和第2移动量相加来确定。因此,导出将第1移动量和第2移动量汇总的值作为移动量,所以与分别导出第1移动量和第2移动量的情况相比,显示部上的显示等其后的处理变得容易。
并且,在监控摄像机10中,以时分方式进行基于抖动校正部51的抖动校正和调整控制。因此,与并行进行基于抖动校正部51的抖动的校正和调整控制的情况相比,能够抑制基于抖动校正部51的抖动的校正及调整控制中的一方对另一方产生的影响。
并且,在监控摄像机10中,在进行基于回转机构16的回转的期间,进行基于抖动校正部51的抖动的校正,在基于回转机构16的回转停止的期间,进行调整控制。因此,与在监控摄像机10进行回转的期间及基于回转机构16的监控摄像机10的回转停止的期间,并行进行基于抖动校正部51的抖动的校正和调整控制的情况相比,能够提高基于抖动校正部51的抖动校正的精度和调整控制的精度双方。
并且,在监控摄像机10中,在进行基于回转机构16的对象被摄体图像的位置调整之后,进行基于抖动校正部51的更窄范围内的对象被摄体图像的位置调整。因此,与仅进行基于回转机构的对象被摄体图像的位置调整的情况相比,对象被摄体图像的位置调整的精度提高。
并且,在监控摄像机10中,回转机构16为双轴回转机构,抖动校正部51为光学式抖动校正机构及电子式抖动校正部中的至少一个。因此,通过双轴回转机构与光学式抖动校正机构及电子式抖动校正部中的至少一个的组合,能够在两个轴的各方向上确保对象被摄体图像的位置调整中所需要的移动量。
并且,在监控摄像机10中,光学式抖动校正机构为透镜移动式抖动校正机构及摄像元件移动式的抖动校正机构中的至少一个。因此,利用透镜移动式抖动校正机构及摄像元件移动式抖动校正机构中的至少一个,能够在两个轴的各方向上确保对象被摄体图像的位置调整中所需要的移动量。
并且,在监控摄像机10中,利用获取部37A获取与摄像元件25的像素的像素间隔有关的信息。因此,即使与像素间隔有关的信息被更新,也能够使用最新的与像素间隔有关的信息导出使对象被摄体图像的位置移动到特定位置所需要的移动量。
并且,在监控摄像机10中,所导出的移动量输出到外部。因此,使用者等能够掌握使对象被摄体图像的位置移动到特定位置所需要的移动量。
另外,在上述实施方式中,示出了输出到外部的移动量显示于管理装置11的显示器13的例子,但本发明的技术并不限定于此。作为一例,如图14所示,从输出部37D输出的移动量也可以显示于设置在监控摄像机10的显示器43B。显示器43B为本发明的技术所涉及的“外部”的一例。
具体而言,作为一例,如图15所示,从输出部37D输出由导出部37B导出的移动量。输出部37D向显示部53输出移动量。作为显示部53,可以举出显示器13和/或显示器43B。由此,监控摄像机10的操作者等能够掌握使对象被摄体图像的位置移动到图像中心位置所需要的移动量。
另外,在图14所示的例子中,示出移动量显示画面被可见显示的情况,但也可以进行基于语音播放装置(省略图示)的语音的输出等可听显示、基于打印机的印刷物的输出等永久可见显示或基于震动器的触觉显示来代替可见显示,也可以与可见显示并用。
并且,在上述实施方式中,示出了由监控摄像机10的操作者等进行基于回转机构16的回转的例子,但本发明的技术并不限定于此。作为一例,如图16所示,监控摄像机10和回转机构16可以连接成能够经由通信线路12进行通信。在本方式例中,使对象被摄体图像的位置移动到图像中心位置所需要的移动量从监控摄像机10的控制部37C输出到回转机构16。回转机构16使监控摄像机10以从控制部37C输入的移动量进行回转。
[第2实施方式]
在上述第1实施方式中,对对象被摄体未移动的情况进行了说明,但在本第2实施方式中,对对象被摄体移动的情况进行说明。另外,在本第2实施方式中,对与上述第1实施方式相同的构成要件标注相同的符号,并省略其说明。以下,对与上述第1实施方式不同的部分进行说明。
在本第2实施方式所涉及的监控摄像机10中的摄像中,作为一例,如图17所示,通过对象被摄体的移动,摄像图像内的对象被摄体图像的位置随着时间的经过而变化。即,图像中心位置与对象被摄体图像的位置之间的图像内偏移量发生变化。因此,使对象被摄体图像的位置移动到图像中心位置所需要的移动量也需要设为考虑到对象被摄体的移动的移动量。
具体而言,作为一例,如图18所示,判定部37E判定在摄像图像内对象被摄体图像的位置是否发生了变化。获取部37A通过计算存储于图像存储器32中的摄像图像的帧之间的关于对象被摄体图像的每单位时间的移动量来获取对象被摄体图像的移动速度。当在摄像图像内对象被摄体图像的位置发生了变化时,导出部37B根据移动速度导出使对象被摄体图像的位置移动到图像中心位置所需要的移动量。
判定部37E通过在摄像图像内的纵向和横向上分解对象被摄体图像的移动速度而设为多个速度。另外,摄像图像内的纵向及横向为本发明的技术所涉及的“多个不同的方向”的一例。在通过对象被摄体图像的移动速度被分解为摄像图像的纵向的成分和横向的成分而得到的移动速度中,判定部37E求出各个方向的成分的速度。此外,判定部37E比较摄像图像的横向的成分和纵向的成分的速度。并且,判定部37E判定速度大的方向的成分是否朝向图像中心位置侧。然后,导出部37B根据速度大的方向的成分是否为朝向图像中心位置侧的方向的判定结果来判定是否输出所导出的移动量。
作为一例,如图19所示,当在摄像图像内对象被摄体图像的位置以朝向图像中心位置侧的方式向右向变化时,与摄像图像的纵向的成分相比,横向的成分的速度大。速度大的成分(在图19所示的例子中为摄像图像的横向的成分)为朝向图像中心位置侧的方向的成分。其结果,导出部37B不会输出摄像图像的横向(平摇方向)的移动量。因此,在初始状态下,在移动量显示画面上仅显示摄像图像的纵向(倾斜方向)的移动量(参考图19上段)。在完成基于位置调整部52的位置调整之后,摄像图像内的对象被摄体图像的位置向靠近图像中心位置的方向变化(参考图19下段)。
另一方面,作为一例,如图20所示,当在摄像图像内对象被摄体图像的位置以远离图像中心位置的方式向左向变化时,速度大的成分为远离图像中心位置的方向。在该情况下,导出部37B除了摄像图像的纵向(倾斜方向)以外,还输出横向(平摇方向)的移动量。因此,在初始状态下,在移动量显示画面上显示摄像图像的横向(平摇方向)及纵向(倾斜方向)的移动量(平摇倾斜角)(参考图20上段)。在完成基于位置调整部52的位置调整之后,摄像图像内的对象被摄体图像的位置成为特定位置(参考图20下段)。
接着,参考图21A及图21B对监控系统2的本发明的技术所涉及的部分的作用进行说明。另外,在图21A及图21B中示出由CPU37执行的位置调整处理的流程的一例。图21A及图21B所示的位置调整处理的流程为本发明的技术所涉及的“摄像支援方法”的一例。
在图21A所示的位置调整处理中,首先,在步骤ST10中,判定部37E判定在摄像图像内是否包含对象被摄体图像。在步骤ST10中,当在摄像图像内包含对象被摄体图像时,判定被肯定,位置调整处理转移到步骤ST34。在步骤ST10中,当在摄像图像内不包含对象被摄体图像时,判定被否定,位置调整处理转移到步骤ST32。
在步骤ST34中,作为一例,判定部37E执行图21B所示的速度判定处理。在图21B所示的速度判定处理中,首先,在步骤ST40中,判定部37E判定对象被摄体图像的位置是否在摄像图像内移动。在步骤ST40中,当对象被摄体图像的位置移动时,判定被肯定,速度判定处理转移到步骤ST42。在步骤ST40的判定中,当对象被摄体图像的位置未移动时,判定被否定,速度判定处理转移到图21A所示的位置调整处理的步骤ST14。
在步骤ST42中,判定部37E将对象被摄体的移动速度在不同的两个方向上进行分解。然后,速度判定处理转移到步骤ST44。
在步骤ST44中,判定部37E比较步骤ST42中所分解的各方向的成分的速度。然后,速度判定处理转移到步骤ST46。
在步骤ST46中,判定部37E判定步骤ST44中所比较的方向中速度大的成分是否为朝向图像中心位置的方向。在步骤ST46中,当速度大的成分为朝向图像中心位置的方向时,判定被肯定,速度判定处理转移到步骤ST48。在步骤ST46中,当速度大的成分并不是朝向图像中心位置的方向时,判定被否定,速度判定处理转移到图21A所示的位置调整处理的步骤ST14。
在步骤ST48中,导出部37B将输出部37D控制为不使其输出速度大的成分的移动量。然后,速度判定处理转移到图21A所示的位置调整处理的步骤ST12。
如以上说明,在本第2实施方式所涉及的监控摄像机10中,即使在对象被摄体正在移动的期间,也能够进行考虑到正在移动的对象被摄体的移动速度的位置调整。
并且,在本第2实施方式所涉及的监控摄像机10中,与移动速度为仅在单一方向上的速度的情况相比,即使在对象被摄体正在移动的期间,也能够实现高精度的位置调整。
另外,在上述各实施方式中,举出将第1移动量和第2移动量相加的移动量显示于显示器13的方式例进行了说明,但本发明的技术并不限定于此。例如,也可以使第1移动量和第2移动量由各自的指示器显示。
并且,在上述各实施方式中,举出特定位置及既定位置为图像中心位置的例子进行了说明,但本发明的技术并不限定于此。特定位置及既定位置也可以由使用者等设定于摄像图像内的任意位置(例如,摄像图像内的四个角中的一个)。
并且,在上述各实施方式中,例示出包括ASIC及FPGA的器件,但本发明的技术并不限定于此,各种处理也可以由基于计算机的软件结构来实现。
在该情况下,例如,如图22所示,在监控摄像机10中内置有计算机19。用于使计算机19执行上述实施方式所涉及的位置调整处理的位置调整程序36A存储于作为非临时性存储介质的存储介质100中。作为存储介质100的一例,可以举出SSD或USB存储器等任意的便携式存储介质。
计算机19具备CPU37、存储装置36及存储器35。存储装置36为EEPROM等非易失性存储装置,存储器35为RAM等易失性存储装置。存储于存储介质100中的位置调整程序36A安装于计算机19中。CPU37按照位置调整程序36A执行位置调整处理。
位置调整程序36A也可以存储于存储装置36中,而不是存储介质100。在该情况下,CPU37从存储装置36中读出位置调整程序36A,并在存储器35上执行所读出的位置调整程序36A。如此,通过由CPU37执行位置调整程序36A来实现位置调整处理。
并且,也可以在经由通信网(省略图示)连接于计算机19的其他计算机或服务器装置等的存储部中预先存储位置调整程序36A,根据上述监控摄像机10的请求下载位置调整程序36A,将其安装于计算机19中。
另外,也无需在连接于计算机19的其他计算机或服务器装置等的存储部或存储装置36中预先存储位置调整程序36A的全部,而预先存储位置调整程序36A的一部分。
在图22所示的例子中,示出在监控摄像机10中内置有计算机19的方式例,但本发明的技术并不限定于此,例如也可以在监控摄像机10的外部设置计算机19。
在图22所示的例子中,CPU37为单个CPU,但也可以为多个CPU。并且,也可以适用GPU来代替CPU37。
在图22所示的例子中,例示出计算机19,但本发明的技术并不限定于此,也可以适用包括ASIC、FPGA和/或PLD的器件来代替计算机19。并且,也可以使用硬件结构与软件结构的组合来代替计算机19。
作为执行在上述各实施方式中说明的位置调整处理的硬件资源,能够使用如下所示的各种处理器。作为处理器,例如可以举出通过执行软件即程序而作为执行位置调整处理的硬件资源发挥作用的通用的处理器即CPU。并且,作为处理器,例如可以举出FPGA、PLD或ASIC等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路。在任何处理器中都内置或连接有存储器,任何处理器都通过使用存储器来执行位置调整处理。
执行位置调整处理的硬件资源可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA的组合、或CPU与FPGA的组合)构成。并且,执行位置调整处理的硬件资源也可以为一个处理器。
作为由一个处理器构成的例子,第一,有以一个以上的CPU与软件的组合构成一个处理器,该处理器作为执行位置调整处理的硬件资源发挥作用的方式。第二,有以SoC等为代表那样,使用由一个IC芯片实现包括执行位置调整处理的多个硬件资源的系统整体的功能的处理器的方式。如此,位置调整处理可以使用上述各种处理器中的一个以上作为硬件资源来实现。
另外,作为这些各种处理器的硬件结构,更具体而言,能够使用将半导体元件等电路元件组合而成的电路。并且,上述位置调整处理仅仅是一例。因此,在不脱离宗旨的范围内,当然可以删除不必要的步骤,或者追加新的步骤,或者更换处理顺序。
并且,在图1所示的例子中,例示出监控摄像机10,但本发明的技术并不限定于此。即,本发明的技术也能够适用于摄像装置的内置的各种电子设备(例如,镜头可换式摄像机、镜头固定式摄像机、智能器件、个人电脑和/或可穿戴式终端装置等),即使是这些电子设备,也可得到与上述监控摄像机10相同的作用及效果。
并且,在上述各实施方式中,例示出显示器43B,但本发明的技术并不限定于此。例如,也可以将连接于摄像装置的分体的显示器用作本发明的技术所涉及的“显示部”。
以上所示的记载内容及图示内容为关于本发明的技术所涉及的一部分的详细说明,只不过是本发明的技术的一例。例如,与上述结构、功能、作用及效果有关的说明为与本发明的技术所涉及的部分的结构、功能、作用及效果的一例有关的说明。因此,在不脱离本发明的技术宗旨的范围内,当然可以对以上所示的记载内容及图示内容删除不必要的部分,或者追加或替换新的要件。并且,为了避免错综复杂的情况,并且容易理解本发明的技术所涉及的部分,在以上所示的记载内容及图示内容中省略了与在使得能够实施本发明的技术的方面不特别需要说明的技术常识等有关的说明。
在本说明书中,“A和/或B”的含义与“A及B中的至少一个”相同。即,“A和/或B”的含义是可以仅为A,也可以仅为B,也可以为A与B的组合。并且,在本说明书中,将3个以上的事项用“和/或”连结而表现的情况也适用与“A和/或B”相同的思路。
本说明书中所记载的所有文献、专利申请及技术标准与具体地且分别地记载通过参考而被并入的各个文献、专利申请及技术标准的情况相同程度地,通过参考而被并入本说明书中。
关于以上实施方式,还公开以下附记。
(附记)
一种信息处理装置,其包括:
处理器;及
存储器,内置或连接于上述处理器,
上述处理器进行如下处理:
获取利用上述摄像元件拍摄包含对象被摄体的摄像区域而得到的摄像图像内的既定位置与表示上述对象被摄体的对象被摄体图像的位置的图像内偏移量及上述摄像装置的焦距;
根据由上述获取部获取的上述图像内偏移量、由上述获取部获取的上述焦距及与上述摄像元件内的像素的像素间隔有关的信息来导出移动量,上述移动量为利用调整在上述摄像图像内的上述对象被摄体图像的位置的位置调整部使上述对象被摄体图像的位置移动到特定位置所需要的移动量;
输出由上述导出部导出的上述移动量。

Claims (22)

1.一种摄像支援装置,支援基于具有摄像元件的摄像装置的摄像,其包括:
处理器;及
存储器,内置或连接于所述处理器,
其中,
所述处理器进行如下处理:
获取利用所述摄像元件拍摄包含对象被摄体的摄像区域而得到的摄像图像内的既定位置与表示所述对象被摄体的对象被摄体图像的位置的图像内偏移量及所述摄像装置的焦距;
根据所获取的所述图像内偏移量、所获取的所述焦距及与所述摄像元件内的像素的像素间隔有关的信息来导出移动量,所述移动量为在所述摄像图像内通过调整所述对象被摄体图像的位置的位置调整器件使所述对象被摄体图像的位置移动到特定位置所需要的移动量;
输出所导出的所述移动量。
2.根据权利要求1所述的摄像支援装置,其中,
所述位置调整器件具有:回转机构,安装有所述摄像装置,且能够使所述摄像装置进行回转;及抖动校正组件,校正以施加于所述摄像装置的振动为原因而产生的抖动,
所述处理器还进行如下调整控制:通过使所述回转机构及所述抖动校正组件中的至少一个根据所述移动量进行工作而调整在所述摄像图像内的所述对象被摄体图像的位置。
3.根据权利要求2所述的摄像支援装置,其中,
根据利用所述回转机构调整所述对象被摄体图像的位置所需要的第1移动量和利用所述抖动校正组件调整所述对象被摄体图像的位置所需要的第2移动量来确定所述移动量。
4.根据权利要求2或3所述的摄像支援装置,其中,
所述抖动校正组件具有:透镜,通过根据所述振动进行移动而校正所述抖动;及作为所述摄像元件中的至少一个的抖动校正元件,
在所述特定位置处,所述抖动校正元件位于所述抖动校正元件的可动范围的中心。
5.根据权利要求4所述的摄像支援装置,其中,
所述处理器进行如下处理:
还获取所述抖动校正组件的灵敏度;
根据所述可动范围的中心位置与所述抖动校正元件的当前位置的抖动校正元件偏移量和所获取的所述灵敏度,导出使所述当前位置移动到所述中心位置所需要的抖动校正元件移动量来作为利用所述抖动校正组件调整所述对象被摄体图像的位置所需要的第2移动量。
6.根据权利要求3至5中任一项所述的摄像支援装置,其中,
根据所述图像内偏移量与所述像素间隔的乘积除以所述焦距的值来确定所述第1移动量。
7.根据权利要求3至6中任一项所述的摄像支援装置,其中,
所述移动量通过将由所述处理器导出的所述第1移动量及所述第2移动量相加而得到。
8.根据权利要求2至7中任一项所述的摄像支援装置,其中,
所述处理器以时分方式进行基于所述抖动校正组件的所述抖动的校正和所述调整控制。
9.根据权利要求8所述的摄像支援装置,其中,
所述处理器在所述摄像装置通过所述回转机构进行回转的期间使所述抖动校正组件进行所述抖动的校正,在基于所述回转机构的所述摄像装置的回转停止的期间进行所述调整控制。
10.根据权利要求8或9所述的摄像支援装置,其中,
所述调整控制为在进行基于所述回转机构的所述对象被摄体图像的位置调整之后进行基于所述抖动校正组件的所述对象被摄体图像的位置调整的控制。
11.根据权利要求2至10中任一项所述的摄像支援装置,其中,
所述回转机构为能够使所述摄像装置向第1方向和与所述第1方向交叉的第2方向进行回转的双轴回转机构,
所述抖动校正组件为光学式抖动校正机构及电子式抖动校正组件中的至少一个。
12.根据权利要求11所述的摄像支援装置,其中,
所述光学式抖动校正机构为透镜移动式抖动校正机构及摄像元件移动式抖动校正机构中的至少一个。
13.根据权利要求1至12中任一项所述的摄像支援装置,其中,
所述处理器还获取与所述像素间隔有关的信息。
14.根据权利要求1至13中任一项所述的摄像支援装置,其中,
所述处理器将所述移动量输出到外部。
15.根据权利要求1至14中任一项所述的摄像支援装置,其中,
当所述对象被摄体正在移动时,根据所述对象被摄体的移动速度来确定所述移动量。
16.根据权利要求15所述的摄像支援装置,其中,
所述移动速度为通过在不同的多个方向上进行分解而得到的多个速度。
17.一种摄像装置,其包括:
权利要求1至16中任一项所述的摄像支援装置;及
所述摄像元件,
所述摄像支援装置对所述摄像元件进行摄像的支援。
18.一种摄像系统,其包括:
权利要求17所述的摄像装置;及
控制装置,进行使显示器显示根据由所述处理器导出的所述移动量反映出所述对象被摄体图像的位置的调整结果的图像的控制及使存储装置存储表示反映出所述调整结果的所述图像的图像数据的控制中的至少一种。
19.一种摄像系统,其包括:
摄像元件;及
摄像支援装置,包括处理器和内置或连接于所述处理器的存储器,并且支援基于具有摄像元件的摄像装置的摄像,
所述处理器进行如下处理:
获取利用所述摄像元件拍摄包含对象被摄体的摄像区域而得到的摄像图像内的既定位置与表示所述对象被摄体的对象被摄体图像的位置的图像内偏移量及所述摄像装置的焦距;
根据所获取的所述图像内偏移量、所获取的所述焦距及与所述摄像元件内的像素的像素间隔有关的信息来导出移动量,所述移动量为在所述摄像图像内通过调整所述对象被摄体图像的位置的位置调整器件使所述对象被摄体图像的位置移动到特定位置所需要的移动量;
输出所导出的所述移动量,
所述位置调整器件具有:回转机构,安装有所述摄像装置,且能够使所述摄像装置进行回转;及抖动校正组件,校正以施加于所述摄像装置的振动为原因而产生的抖动,
所述处理器进行如下调整控制:通过使所述回转机构及所述抖动校正组件中的至少一个根据所述移动量进行工作而调整在所述摄像图像内的所述对象被摄体图像的位置。
20.一种摄像支援系统,其包括:
权利要求1至16中任一项所述的摄像支援装置;及
所述位置调整器件,
所述摄像支援装置中所包括的所述处理器导出所述移动量。
21.一种摄像支援方法,其支援基于包括摄像元件的摄像装置的摄像,所述摄像支援方法包括如下步骤:
获取利用所述摄像元件拍摄包含对象被摄体的摄像区域而得到的摄像图像内的既定位置与表示所述对象被摄体的对象被摄体图像的位置的图像内偏移量及焦距;
根据所获取的所述图像内偏移量、所获取的所述焦距及所述摄像元件的像素的像素间隔来导出移动量,所述移动量为在所述摄像图像内通过调整所述对象被摄体图像的位置的位置调整器件使所述对象被摄体图像的位置移动到特定位置所需要的移动量;以及
输出所导出的所述移动量。
22.一种程序,其用于使计算机执行支援基于具有摄像元件的摄像装置的摄像的处理,其中,
所述处理包括如下步骤:
获取利用所述摄像元件拍摄包含对象被摄体的摄像区域而得到的摄像图像内的既定位置与表示所述对象被摄体的对象被摄体图像的位置的图像内偏移量及焦距;
根据所获取的所述图像内偏移量、所获取的所述焦距及所述摄像元件的像素的像素间隔来导出移动量,所述移动量为在所述摄像图像内通过调整所述对象被摄体图像的位置的位置调整器件使所述对象被摄体图像的位置移动到特定位置所需要的移动量;以及
输出所导出的所述移动量。
CN202080075962.7A 2019-10-29 2020-10-20 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及程序 Pending CN114616820A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-196681 2019-10-29
JP2019196681 2019-10-29
PCT/JP2020/039425 WO2021085247A1 (ja) 2019-10-29 2020-10-20 撮像支援装置、撮像装置、撮像システム、撮像支援システム、撮像支援方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN114616820A true CN114616820A (zh) 2022-06-10

Family

ID=75715103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080075962.7A Pending CN114616820A (zh) 2019-10-29 2020-10-20 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及程序

Country Status (4)

Country Link
US (2) US11711612B2 (zh)
JP (2) JP7222113B2 (zh)
CN (1) CN114616820A (zh)
WO (1) WO2021085247A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3136925A1 (fr) * 2022-06-16 2023-12-22 SNCF Voyageurs Système et procédé de calibration d’une caméra de vidéosurveillance dans un véhicule ferroviaire
CN116095489B (zh) * 2023-04-11 2023-06-09 北京城建智控科技股份有限公司 一种基于摄像装置的协同防抖方法与存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266086B1 (en) * 1996-08-07 2001-07-24 Sharp Kabushiki Kaisha Imaging apparatus
JP2008124850A (ja) * 2006-11-14 2008-05-29 Matsushita Electric Ind Co Ltd 画像動き補正装置、レンズ装置および撮像装置
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置
JP2017063340A (ja) * 2015-09-25 2017-03-30 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4010254B2 (ja) * 2003-02-06 2007-11-21 ソニー株式会社 画像記録再生装置、画像撮影装置及び色収差補正方法
US7557832B2 (en) * 2005-08-12 2009-07-07 Volker Lindenstruth Method and apparatus for electronically stabilizing digital images
JP2007267004A (ja) 2006-03-28 2007-10-11 Canon Inc 撮像装置
JP2013005009A (ja) * 2011-06-13 2013-01-07 Pentax Ricoh Imaging Co Ltd 天体自動追尾撮影方法及び天体自動追尾撮影装置
JP6097522B2 (ja) * 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
JP6170395B2 (ja) * 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
JP6210824B2 (ja) * 2013-10-02 2017-10-11 オリンパス株式会社 焦点調節装置および焦点調節方法
US10311595B2 (en) * 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
JP6472176B2 (ja) * 2014-06-10 2019-02-20 キヤノン株式会社 撮像装置、像振れ補正装置、撮像装置の制御方法及び像振れ補正方法
JP6486656B2 (ja) * 2014-11-11 2019-03-20 オリンパス株式会社 撮像装置
CN108141533B (zh) * 2015-09-30 2020-07-21 富士胶片株式会社 摄像系统、视角调整方法及非暂时有形存储介质
JP6833461B2 (ja) 2015-12-08 2021-02-24 キヤノン株式会社 制御装置および制御方法、撮像装置
US10270973B2 (en) 2015-12-08 2019-04-23 Canon Kabushiki Kaisha Control device and imaging apparatus with a subject selectable mode with higher image blur correction
JP6613149B2 (ja) 2016-01-15 2019-11-27 キヤノン株式会社 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
US10038849B2 (en) * 2016-03-16 2018-07-31 Panasonic Intellectual Property Mangement Co., Ltd. Imaging device with controlled timing of images to be synthesized based on shake residual
US10142546B2 (en) * 2016-03-16 2018-11-27 Ricoh Imaging Company, Ltd. Shake-correction device and shake-correction method for photographing apparatus
US10247954B2 (en) * 2016-03-29 2019-04-02 Ricoh Imaging Company, Ltd. Stage apparatus having shake-correction function
JP6742819B2 (ja) 2016-05-30 2020-08-19 キヤノン株式会社 像ブレ補正装置、光学機器、撮像装置および制御方法
JP6818473B2 (ja) * 2016-09-07 2021-01-20 キヤノン株式会社 ブレ補正装置およびその制御方法、撮像装置
KR102612988B1 (ko) * 2016-10-20 2023-12-12 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
JP6936034B2 (ja) * 2017-03-31 2021-09-15 パナソニックi−PROセンシングソリューションズ株式会社 カメラ装置及び揺れ補正方法
JP6940290B2 (ja) * 2017-03-31 2021-09-22 パナソニックi−PROセンシングソリューションズ株式会社 カメラ装置及び揺れ補正方法
JP6960238B2 (ja) * 2017-04-28 2021-11-05 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
US10462370B2 (en) * 2017-10-03 2019-10-29 Google Llc Video stabilization
US10764495B2 (en) * 2017-12-14 2020-09-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, storage medium, system, and electronic apparatus
JP2019106656A (ja) * 2017-12-14 2019-06-27 ルネサスエレクトロニクス株式会社 半導体装置および電子機器
JP2019145958A (ja) * 2018-02-19 2019-08-29 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266086B1 (en) * 1996-08-07 2001-07-24 Sharp Kabushiki Kaisha Imaging apparatus
JP2008124850A (ja) * 2006-11-14 2008-05-29 Matsushita Electric Ind Co Ltd 画像動き補正装置、レンズ装置および撮像装置
JP2017063340A (ja) * 2015-09-25 2017-03-30 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置

Also Published As

Publication number Publication date
US20220256083A1 (en) 2022-08-11
JP7222113B2 (ja) 2023-02-14
US11711612B2 (en) 2023-07-25
US20230308757A1 (en) 2023-09-28
US11968448B2 (en) 2024-04-23
WO2021085247A1 (ja) 2021-05-06
JP2023052772A (ja) 2023-04-12
JPWO2021085247A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
CN110012224B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2020192480A1 (zh) 摄像头防抖系统、方法、电子设备
US11968448B2 (en) Imaging support device, imaging apparatus, imaging system, imaging support system, imaging support method, and program
US11678055B2 (en) Imaging support device, imaging support system, imaging system, imaging support method, and program
JP7456043B2 (ja) 撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラム
JP2007235532A (ja) 車両用監視装置
WO2018168406A1 (ja) 撮影制御装置、撮影システム、および撮影制御方法
CN111800589A (zh) 图像处理方法、装置和系统,以及机器人
JP7387713B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
US20220286613A1 (en) Imaging support device, imaging apparatus, imaging system, imaging support method, and program
CN114616819B (zh) 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及存储介质
JP2015095670A (ja) 撮像装置、その制御方法、および制御プログラム
JP2000069353A (ja) 手ぶれ検出装置および手ぶれ補正装置
CN114641985B (zh) 摄像支援装置、摄像支援系统、摄像系统、摄像支援方法及存储介质
JP7289929B2 (ja) 撮像支援装置、撮像システム、撮像支援方法、及びプログラム
WO2023008102A1 (ja) 撮影制御装置、撮影システム、撮影制御方法、及び撮影制御プログラム
JP2006165744A (ja) 撮影装置及び撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination