CN109819690A - 移动体摄像装置以及移动体摄像方法 - Google Patents

移动体摄像装置以及移动体摄像方法 Download PDF

Info

Publication number
CN109819690A
CN109819690A CN201880001458.5A CN201880001458A CN109819690A CN 109819690 A CN109819690 A CN 109819690A CN 201880001458 A CN201880001458 A CN 201880001458A CN 109819690 A CN109819690 A CN 109819690A
Authority
CN
China
Prior art keywords
movable mirror
moving body
camera
motor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880001458.5A
Other languages
English (en)
Inventor
松家大介
三村昌弘
日野一彦
藤村高之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN109819690A publication Critical patent/CN109819690A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B41/00—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor
    • G03B41/02—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film
    • G03B41/04—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator
    • G03B41/06—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator with rotating reflecting member
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B41/00—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor
    • G03B41/02—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film
    • G03B41/04—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator
    • G03B41/10—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator with oscillating reflecting member
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/002—Details of arrangement of components in or on camera body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Accessories Of Cameras (AREA)

Abstract

提供移动体摄像装置，在通过大小不同的多个可动镜变更摄像机的光轴的移动体摄像装置中兼顾画质的提升和追随性能维持。为了解决该课题，本发明的移动体摄像装置追随横穿大致水平方向的移动体来进行摄像，具备：对依次由多个可动镜反射的所述移动体的像进行摄像的摄像机；将该摄像机的摄像图像的重力方向作为扫描方向的重力方向可动镜；变更该重力方向可动镜的角度的第一电动机；将所述摄像机的摄像图像的左右方向作为扫描方向的左右方向可动镜；变更该左右方向可动镜的角度的第二电动机；和控制所述摄像机、所述第一电动机以及所述第二电动机的控制部，所述摄像机对依次由所述重力方向可动镜和所述左右方向可动镜反射的所述移动体的像进行摄像。

Description

移动体摄像装置以及移动体摄像方法
技术领域
本发明涉及移动体摄像装置以及移动体摄像方法，特别涉及对在空间上自由活动的多旋翼机(multicopter)等飞行体、在道路上行驶的车辆等行驶体进行摄像的移动体摄像装置、移动体摄像方法。
背景技术
过去，已知对在对象区域移动的飞行体等移动体进行摄像的装置。为了追随移动中的移动体进行拍摄，需要控制摄像机的光轴，以便将移动体捕捉到摄像机的摄像范围内。作为使摄像机的光轴朝向移动体的控制方法，已知用各自不同的旋转轴的电动机驱动能旋转的多个可动镜来使摄像机的光轴追随移动体的方法。该技术例如在专利文献1公开，在该文献的摘要中记载了“在不透光性的筐体B1设置透光性的窗口W1，在筐体B1内配置摄像装置C1、方位角旋转反射镜M1、倾斜角旋转反射镜M2和使镜M1、M2旋转的电动机m1、m2。来自对象视野的光束I在通过窗口W1后被镜M1正反射，进而射到镜M2而被反射，由此对象像回到正位像，该对象的正位像入射到摄像装置C1。”。
现有技术文献
专利文献
专利文献1：日本特开平10-136234号公报
发明内容
发明要解决的课题
作为对移动体摄像装置要求的性能，要求取得更清晰的图像。在画质的提升方面，使摄像机的像素数增加是有效果的。例如，在以2K分辨率(横1920像素×纵1080像素)和4K分辨率(横3840像素×纵2160像素)进行摄像的情况下，由于相对于2K分辨率，在4K分辨率下，纵横的分辨率各自提升成2倍，因此在4K分辨率下，能以2K分辨率的4倍的像素数来对同一被摄体进行摄像。
在此，在4K分辨率和2K分辨率的摄像元件的一个像素的大小都是10μm的情况下，针对2K分辨率的摄像元件的大小为纵19.2mm×横10.8mm，相对于此，在4K分辨率下为纵38.4mm×横21.6mm，摄像元件大到2倍。因此，通过将安装在摄像机的镜头的焦距设成2倍，视角变得相等，抑制了晕影的产生。
但是，若维持镜头的开口直径不变地将焦距设成2倍，则表示摄像机取入光的程度的F值成为4倍，所得到的图像的明亮度成为1/4。另外，景深也变浅，例如在追随在纵深方向上高速移动的移动体进行拍摄时，对焦容易变得不准。进而，明亮度虽然会通过延长曝光时间而被缓和，但在高速移动体中成为运动模糊(抖动)的原因。由于这些原因，在通过增加像素数来实现画质提升时，需要加大镜头的开口直径，因此在如专利文献1那样经由可动镜来对移动体进行摄像的移动体摄像装置中，希望扩大可动镜的反射面积。
然而，可动镜的大型化关系到电动机的负载质量的增大，为了得到相同的响应性能而需要更大的电动机。大的电动机需要流过更多的电流，因此，由于在线圈中产生的铜损，电动机的温度会上升。电动机的温度上升关系到电动机的产生力矩降低和周边光学部件的热变形等，因此新需要积极对电动机进行冷却的装置，装置会大型化、复杂化。移动体摄像装置多用作监视装置，装置的大型化和复杂化并不优选。
本发明为了解决上述那样的课题而完成，其目的在于，提供移动体摄像装置，在通过大小不同的多个可动镜来变更摄像机的光轴的移动体摄像装置中，抑制驱动可动镜的电动机的发热量，并且兼顾画质的提升和追随性能维持。
用于解决课题的手段
为了解决上述课题，本发明的移动体摄像装置追随横穿大致水平方向的移动体来进行摄像，具备：摄像机，对依次由多个可动镜反射的所述移动体的像进行摄像；重力方向可动镜，将该摄像机的摄像图像的重力方向作为扫描方向；第一电动机，变更该重力方向可动镜的角度；左右方向可动镜，将所述摄像机的摄像图像的左右方向作为扫描方向；第二电动机，变更该左右方向可动镜的角度；和控制部，控制所述摄像机、所述第一电动机以及所述第二电动机，所述摄像机对依次由所述重力方向可动镜和所述左右方向可动镜反射的所述移动体的像进行摄像。
另外，追随从大致水平方向接近的移动体来进行摄像，具备：摄像机，对依次由多个可动镜反射的所述移动体的像进行摄像；重力方向可动镜，将该摄像机的摄像图像的重力方向作为扫描方向；第一电动机，变更该重力方向可动镜的角度；左右方向可动镜，将所述摄像机的摄像图像的左右方向作为扫描方向；第二电动机，变更该左右方向可动镜的角度；和控制部，控制所述摄像机、所述第一电动机以及所述第二电动机，所述摄像机对依次由所述左右方向可动镜和所述重力方向可动镜反射的所述移动体的像进行摄像。
发明效果
根据本发明的移动体摄像装置、移动体摄像方法，即使为了画质提升而使用大的可动镜，也能抑制电动机的发热量，因此能兼顾画质的提升和追随性能的维持。
附图说明
图1是实施例1的移动体摄像装置1和飞行体2a的框图。
图2是实施例1的可动镜12a、12b的俯视图。
图3是实施例1的移动体摄像装置中从摄像机安装位置观察可动镜12a方向的情况下的移动体摄像装置的横截面图。
图4是由实施例1的移动体摄像装置执行的处理的流程图。
图5是实施例1的控制部14的功能框图。
图6是由实施例1的图像处理部27灰度化处理后的摄像图像。
图7A是表征流过实施例1的电动机13a的电流的图。
图7B是表征流过实施例1的电动机13b的电流的图。
图8A是从上空观察实施例1的移动体摄像装置1和飞行体2a的图。
图8B是从横向观察实施例1的移动体摄像装置1和飞行体2a的图。
图9A是表示实施例1中实施各飞行时的移动体摄像装置1的电动机13a的最大角速度的图。
图9B是表示实施例1中实施各飞行时的移动体摄像装置1的电动机13b的最大角速度的图。
图10是实施例2的移动体摄像装置1和行驶体2b的框图。
图11A是从上空观察实施例2的移动体摄像装置1和行驶体2b的图。
图11B是从横向观察实施例2的移动体摄像装置1和行驶体2b的图。
图12A是表示实施例2中实施各行驶时的移动体摄像装置1的电动机13a的最大角速度的图。
图12B是表示实施例2中实施各行驶时的移动体摄像装置1的电动机13b的最大角速度的图。
图13是实施例3的移动体摄像装置中从摄像机安装位置观察可动镜12a方向的情况下的移动体摄像装置的横截面图。
具体实施方式
以下，基于附图来说明本发明的各实施例。另外，以下为了方便而分割成多个实施例来说明本发明，但除了特别明示的情况以外，它们并不是相互无关，而是处于一方是另一方的一部分或全部的变形例、详细情况、补足说明等这样的关系。另外，在用于说明以下的实施例的全部附图中，具有相同功能的部分原则上标注相同的附图标记，省略重复说明。
实施例1
使用图1到图9B来说明追随横穿大致水平方向的飞行体进行摄像的本发明的实施例1的移动体摄像装置1、其中所用的移动体摄像方法。
图1是包含本实施例的移动体摄像装置1和移动体即飞行体2a的框图。图1所示的飞行体2a是从侧面侧观察具有四个螺旋桨且能通过改变各螺旋桨的旋转数来自由地进行水平移动、方向转换、上升下降的飞行体(四旋翼机)。
移动体摄像装置1主要以追随横穿大致水平方向的飞行体2a进行摄像为目的，具备摄像机11、大小不同的两个可动镜12a、12b、变更各可动镜的角度的电动机13a、13b以及控制摄像机11和电动机13a、13b的控制部14。在此，所谓“横穿大致水平方向”，是包含摄像机11的摄像图像107上的横向移动在内的运动，可以包含相对小的纵向上的移动。
可动镜12a是以摄像机11的摄像图像107的左右方向为扫描方向的左右方向可动镜，可动镜12b是以摄像机11的摄像图像107的重力方向为扫描方向的重力方向可动镜。并且，摄像机11的特征在于，对依次由可动镜12b和可动镜12a反射的飞行体2a的像进行摄像，位于距摄像机11最远的位置的可动镜12b的扫描方向是重力方向。另外，特征在于，使扫描方向为重力方向的可动镜12b的反射面朝向地表来安装。电动机13a、13b具有用于检测旋转角度的角度检测器(未图示)，将检测到的旋转角度作为检测角度102a、102b输出到控制部14。另外，虽省略图示，但在移动体摄像装置1连接给操作者展示摄像图像107的显示装置、操作者输入指令的指令输入装置20、记录摄像图像的存储装置。
在此，使用图2来说明从可动镜12a、12b的反射面观察的俯视图。如这里示出的那样，可动镜12a具备反射镜部121a、和将电动机13a和反射镜部121a相连的底座部122a，可动镜12b具备反射镜部12lb、和将电动机13b和反射镜部121b相连的底座部122b。在本实施例中，将靠近摄像机11的反射镜部121a的长度设为40mm，将远离摄像机11的反射镜部121b的长度设为80mm。使可动镜12b大于可动镜12a的理由在于，由远离摄像机11的可动镜12b来应对靠近摄像机11的可动镜12a的可动域全部中的光轴变化，靠近摄像机11的可动镜12a的可动域越大，就越需要将远离摄像机11的可动镜12b在电动机的旋转轴方向上拉长。根据这样的理由使两可动镜的大小不同的结果是，在图2的示例中，小的可动镜12a绕电动机轴旋转的情况下的惯性矩为30.0g·cm2，大的可动镜12b的惯性矩为45.0g·cm2。
在图3示出从摄像机11的安装位置观察可动镜12a方向的情况下的移动体摄像装置1的横截面图。在此，将电动机13a的旋转轴与电动机13b的旋转轴的距离A1设为42.5mm，将可动镜的可动范围设为±20度。另外，圆C表示被设置成可动镜12b与电动机13a不相干扰的区域，以可动镜12b的旋转轴为中心设定一定距离。
接下来，使用图4的流程图来说明本实施例所涉及的移动体摄像装置1的摄像动作。移动体摄像装置1的摄像动作大致分为将可动镜13a、13b驱动到目标偏转角度的可动镜旋转动作、和在将光轴3固定的状态下开始摄像机11的曝光来取得摄像图像107的图像取得动作，工作镜旋转动作和图像取得动作在时间序列上交替重复进行。在本实施例中，由于在将可动镜固定的状态下进行摄像，因此能使用摄像周期慢的摄像机，还具有能在光量不足的环境条件下延长曝光时间来应对等优点。
首先，若开始摄像动作，则控制部14判断摄像机11的摄像图像107中是否包含追随目标的飞行体2a(S1)。然后，控制部14在摄像图像107中不包含飞行体2a的情况下执行外部指令模式(S2)，在摄像图像107中包含飞行体2a的情况下执行内部指令模式(S5)。
外部指令模式(S2)是用于移动体摄像装置1的操作者操作各可动镜的旋转来捕捉追随目标的飞行体2a使得能用摄像机11进行摄像的模式，操作者一边看显示装置一边使用游戏手柄等指令输入装置20从外部对控制部14给出各可动镜的目标偏转角度指令(S3)，在捕捉到飞行体2a时将可动镜的角度固定(S4)。
另一方面，内部指令模式(S5)是用于控制部14操作各可动镜的旋转来追随追随目标的飞行体2a使得能用摄像机11进行摄像的模式，在控制部14内部生成各可动镜的目标偏转角度指令(S6)，在追随到飞行体2a的角度将可动镜固定(S7)。
在步骤S3或步骤S6中，控制部14调整并输出施加电压，使得与所设定的目标偏转角度相应的驱动电流101a、101b流过各个电动机13a、13b。其结果，摄像机11的光轴3被控制成朝向飞行体2a。然后，在步骤S4或步骤S7中，若根据电动机13a、13b的检测角度102a、102b确认到可动镜旋转动作(S3、S6)完成，则在步骤S8中，控制部14对摄像机11输出摄像触发信号103(参考图1)，摄像机11开始曝光。若摄像图像107的取得结束，则摄像机11对控制部14输出摄像结束信号104(参考图1)，控制部14确认有无输入摄像结束指令。然后，若没有输入摄像结束指令，则控制部14进入下一可动镜旋转动作。通过重复该一系列的动作来取得连续的摄像图像107，在摄像周期充分短的情况下(例如与一般的电视相同的30张/秒)，通过在显示装置连续显示所取得的摄像图像107，能将横穿移动体摄像装置1的大致水平方向的飞行体2a的动向作为动态图像来提供。
接下来，使用图5所示的控制部14的功能框图来说明上述的外部指令模式和内部指令模式的详细情况。
如图5所示那样，在控制部14连接指令输入装置20、电动机13a、13b以及摄像机11。另外，在控制部14的内部设置开关21a、21b、存储部22a、22b、加法运算器23a、23b、24a、24b、补偿器25a、25b、放大器26a、26b、图像处理部27。另外，控制部14可以由ASIC或FPGA那样的硬件来构成，也可以是由CPU执行载入到存储器的程序的软件，还可以将硬件和软件组合来实现。
首先，说明外部指令模式下的电动机13a的偏转角度的控制方法。另外，这里说明电动机13a的控制方法，但对使用同等的控制方法的电动机13b省略重复说明。在外部指令模式下，切换开关21a成为下侧，对于由外部的指令输入装置20给出的目标角度指令105a与由电动机13a的角度检测器得到的检测角度102a的偏差角度，在使检测角度102a正负反转的情况下，由加法运算器24a相加。为了使该偏差成为零，补偿器25a调整通过放大器26a后流过电动机13a的驱动电流101a的大小。另外，补偿器25a设为PID控制。
接下来，说明内部指令模式下的电动机13a的偏转角度的控制方法。在内部指定模式下，切换开关21a成为上侧，一控制周期前的操作量106a被记录在存储部22a。首先，摄像机11以一动作前取得的摄像图像107为基础，在图像处理部27中算出摄像机11的光轴偏离偏差量108a(算出方法后述)。将该光轴偏离偏差量108a和存储在存储部22a的一控制周期前的操作量106a在加法运算器23a中相加，将其结果作为新的目标变更角度指令即偏差量108a。之后的流程由于与外部指令模式的情况相同，因此省略说明。
接下来，说明摄像机的光轴偏离量的算出方法。图像处理部27具有存储部(未图示)，在存储部中按摄像周期存储前一个摄像图像107。并且，将存储的摄像图像107和当前图像变换(灰度化)成0～255的亮度信息，求取两个摄像图像107的各像素值的差分。差分值超过预先确定的值的像素视作有活动的部分而设为1(白)，在低于的情况下设为0(黑)(二值化处理)。该方法被称作作为背景差分法的一种的帧差分法。
图6表示对摄像图像107实施二值化处理的结果。另外，电动机13a的扫描方向沿纸面左右且是以右侧为正的方向(以下称作x轴方向)，电动机13b的扫描方向沿纸面上下且是以上为正的方向(以下称作y方向)。在摄像图像107内有活动的像素群的面积是预先确定的大小和形状时，将该像素群判定为飞行体。这时，将有活动的像素群的重心位置设为摄像图像107中的飞行体的中心位置Q，将图像中心O与飞行体的中心位置Q的坐标值之差(x轴方向是qa，y轴方向是qb)定义为摄像机11的光轴偏离量。以各轴的光轴偏离量为基础来进行下一可动镜旋转动作。
本实施例的移动体摄像装置1将在空间中自由来回飞的飞行体作为摄像(追随)对象，将远离摄像机的更大的可动镜12b的扫描方向作为重力方向。通过考虑可动镜和电动机所构成的偏转机构的响应特性和飞行体的移动特性进行配置，能最大限度地发挥移动体摄像装置的追随性能。
首先，说明可动镜和电动机所构成的偏转机构的响应特性。在本实施例中，由于在摄像机11正摄像期间使可动镜静止，因此电动机按每摄像周期重复旋转和静止。将该动作视作2点间的往复动作来估计电动机的消耗电力，考察移动距离与消耗电力的关系。另外，电动机具有多个机构谐振模式，这里为了看得清楚而作为刚体来处理，将流过电动机的电流也作为单一正弦波来处理。若将电动机的线圈部设为电感器Lc和电阻Rc，则转子在频率f、振动振幅θ0下旋转的情况下的运动方程式成为式1。
[数学表达式1]
在此，θ：旋转角度，t：时刻，V：电压，I：电流，kt：电动机的扭矩常数，J：动子整体的惯性矩。这时，在每单位时间T线圈所消耗的电力Pe以下式表征。
[数学表达式2]
根据式1、式2，Pe成为下式。
[数学表达式3]
根据式3，消耗电力与频率f的4次方成正比，与动子整体的惯性矩和旋转角度的2次方成正比。
图7A、图7B表示使安装有大小不同的可动镜12a、12b的电动机13a、13b活动相同旋转角度时流过各电动机的驱动电流101a、101b，纵轴是电流的大小，横轴是时刻。另外，由于电动机形状相同，电阻Rc一样，因此消耗电力与电流的2次方成正比。如从两图的比较所明确的那样，安装有惯性矩大的可动镜12b的电动机13b需要比安装有惯性矩小的可动镜12a的电动机13a更大的电流，因此，线圈的铜损所引起的发热量变多。由于如上述那样消耗电力与电流的2次方成正比，因此在电动机13a的电流的峰值为2A、电动机13b的电流的峰值为3A的情况下，电动机13b的消耗电力与电动机13a的消耗电力相比最大成为2.25倍(＝32/22倍)。
电动机的自然放热所引起的散热量根据结构决定，一般的电动机存在用于避免成为容许温度以上的额定消耗电力来作为规格。在未改变电动机结构和旋转角度的情况下，为了降低消耗电力，只有降低频率f。即，装备有大的可动镜的偏转机构相对于装备有小的可动镜的偏转机构，响应性能要差。另外，降低频率f意味着摄像周期延长，在如本实施例那样由摄像图像107进行移动体的追随的情况下，该电动机的扫描方向上的追随性能降低。
接下来，考察飞行体2a的移动特性。图8A是从上空俯视移动体摄像装置1和飞行体2a的位置关系的图，图8B是从地上的某地点从横向观察两者的图。
本实施例中设为摄像对象的多旋翼机在水平方向的移动速度快，但重力方向上的移动速度慢。例如，DJI社制Phantom4的商品规格中，水平方向的最高速度是20m/秒(72km/小时)，与此相对，上升速度是6m/秒，下降速度是4m/秒。
在此，将在重力方向上进行扫描的可动镜12b的扫描范围设为0度(水平)到仰角40度，将在水平方向上进行扫描的可动镜12a的扫描范围设为左右各20度。如图8B所示那样，在飞行体2a在距离移动体摄像装置1为200m的地点位于高度53m(电动机13b旋转角度为15度)的上空时，飞行体2a的(i)上升、(ii)降下、(iii)水平左右、(iv)接近的各方向的移动能通过如下那样控制各电动机的旋转角度来进行追随。
(i)上升(将电动机13a的旋转角度固定在0度，以电动机13b的扫描进行追随)
(ii)降下(与(i)同样)
(iii)水平左右方向(将电动机13b的旋转角度固定在15度，以电动机13a的扫描进行追随)
(iv)接近方向(与(i)同样)
另外，在图9A、图9B示出从图8B的飞行体2a的位置向(i)～(iv)的各方向以最大速度移动时的各电动机的最大角速度和每摄像周期的旋转角度。
如图9A所示那样，(i)上升时的电动机13a的最大角速度是1.62度/秒，(ii)降下时的最大角速度是1.15度/秒，另外，如图9B所示那样，(iii)水平左右方向移动时的电动机13b的最大角速度是5.73度/秒。从这些附图可知，在(i)～(iii)的移动中，即使距离或高度不同，最大角速度也大致相同，另外，(iii)的电动机13a的最大角速度大到(i)或(ii)的电动机13b的最大角速度的3.3～5.7倍程度。
另一方面，如图9B所示那样，(iv)接近方向移动时的电动机13b的角速度是与飞行体2a的距离越近越增加，特别在距移动体摄像装置1的距离为80m～65m的情况下，变得大于(iii)的最大角速度5.73度/秒。
并且，若与飞行体2a的距离限定65m，则由于电动机可动域的制约，不再能在所取得的摄像图像107的中心捕捉，追随变得困难。根据以上可知，在将在空间中自由来回飞的飞行体作为摄像(追随)对象时，除了飞行体位于移动体摄像装置的85m以内且进一步接近的情况以外，在对移动体摄像装置要求的追随性能上，严格的扫描方向是相对于取得画面的左右方向。
另外，在使用水平方向的最高速度为20m/秒(72km/小时)的飞行体2a的情况下，在(iv)接近方向动作中通过85m～65m间所需的时间仅仅为1秒，作为追随在空间中自由来回飞的飞行体2a的状况，是非常极端的例子。另外，在接近方向上接近的飞行体追随的重要度高的情况下，通过设为与后述的实施例2同样的结构来应对即可。
根据以上的考察，在对在空间中自由来回飞的飞行体2a进行摄像(追随)的本实施例的移动体摄像装置1中，通过使远离摄像机11的大的可动镜的扫描方向与对可动镜要求的最大角速度小的重力方向一致，抑制了可动镜的驱动所需的消耗电力。因此，与将远离摄像机11的可动镜的扫描方向设为所取得的摄像图像107的左右方向的情况相比较，能使用更大的可动镜，能兼顾摄像画质的提升和追随性能的维持。
进而，在本实施例的移动体摄像装置1中，如图3所示那样，扫描方向为重力方向的可动镜12b的反射面朝向地表。在将可动镜12a、12b等如图3那样收在筐体内的移动体摄像装置I中，筐体的开口部即观测飞行体2a的方向成为纸面左方向。由此，即使是例如太阳存在于开口部的左斜上的点B的情况，也由于可动镜12b的反射面朝向太阳的相反侧，因此具有减轻可动镜12b所引起的反射光流入筐体内的效果。另外，可动镜12a虽然朝向点B，但由于位于比可动镜12b更深处的位置，因此太阳光直接射到反射面的情形较少，并且由于反射面积也小于可动镜12b，因此与可动镜12b所带来的太阳光的影响相比很轻微。
在本实施例中，如图6例示的那样，在飞行体2a的检测中使用帧差分法，但例如也可以使用学习多个背景模型的码本法等其他手法。另外，虽然还考虑将镜头的焦距设为相同来进行伴随像素数增加的画质提升，但在该情况下，视角变广，可动镜的反射面积依然大型化，因而本实施例是有效果的这点不会改变。另外，在本实施例中，作为飞行体而设想多旋翼机，但在作为其他飞行体的一例的有翼机中，由于自由在垂直方向上飞行极其困难，因此与利用多旋翼机考察的结果相同。
根据以上说明的本实施例的结构，由于即使为了画质提升而使用大的可动镜也能抑制电动机的发热量，因此能兼顾画质的提升和追随性能的维持。
实施例2
接下来，使用图10到图12来说明实施例2的移动体摄像装置1。本实施例的移动体摄像装置1将在道路上行驶的接近过来的车辆等行驶体2b作为追随对象，例如用于汽车车牌号自动读取装置(N系统)等中。另外，省略与实施例1的共同点的重复说明。
在图10示出包含本实施例的移动体摄像装置1和从侧面侧观察的行驶体2b的框图。在实施例1中，将位于最远离摄像机11的位置的可动镜12b的扫描方向作为重力方向，但在本实施例中，特征在于，将位于最远离摄像机11的位置的可动镜12b的扫描方向设为画面水平方向。
由于摄像动作和各部的活动等与实施例1相同，因此这里仅着眼于行驶体2b的移动特性。图11A是从上空俯视移动体摄像装置1与行驶体2b的位置关系的图，图11B是从地上的某地点从横向观察两者的图。
向移动体摄像装置1直线接近的行驶体2b虽然也有时接近方向的移动速度会超过时速100km，但由于即使在车道变更时，车道宽度也仅是3.5m程度，因此具有左右方向上的移动速度慢这样的移动特性。
在此，将在接近的方向上进行扫描的可动镜12a的扫描范围设为0度(水平)到仰角40度，将在水平方向上进行扫描的可动镜12b的搜查范围设为左右各20度。
如图11A所示那样，(v)的移动和(vi)的移动能通过如下那样控制各电动机的旋转角度来追随，其中，(v)的移动是行驶体2b从离开40m的地点向移动体摄像装置1接近，(vi)的移动是从离开40m的地点接近，从离开30m的地点开始向水平方向偏离3.5m的车道变更的动作，在离开10m的地点完成车道变更并通过移动体摄像装置1之下。
(v)将电动机13b的旋转角度固定在0度，以电动机13a的扫描进行追随
(vi)以电动机13a和电动机13b的适当扫描进行追随
另外，在图12A、12B示出从图11A的行驶体2b的位置进行(v)或(vi)的移动时的各电动机的最大角速度和每摄像周期的旋转角度。在此，移动体摄像装置1的设置部位设为地表起4m上空，行驶体速度设为13.9m/秒(50km/小时)。另外，若在(v)的移动中，行驶体2b向移动体摄像装置1接近4.8m，在(vi)中向移动体摄像装置1接近9.74m，则就会成为摄像范围外。
通过图12A和图12B的比较可知，角速度最大的是行驶体接近的方向的电动机13a，在行驶体最接近时为(84.55度/秒)，另一方面，电动机13b的最大角速度相对要小。
因此，在本实施例的移动体摄像装置1中，通过使远离摄像机11的大的可动镜的扫描方向与对可动镜要求的最大角速度小的画面左右方向一致，抑制了将要产生的消耗电力。
另外，本实施例中将追随对象设为行驶体2b进行了说明，但本实施例的適用对象并不限于行驶体，也可以将向移动体摄像装置1接近的飞行体2a作为追随对象。
实施例3
在实施例1以及2中，虽然通过缩窄两个电动机间距离能减小可动镜12b，但由于可动镜、电动机等在物理上会发生干扰，因此各可动镜的可动范围会变窄。实施例3说明该改善方法。
在图13示出本实施例中的从摄像机11的安装位置观察可动镜12a方向的情况下的移动体摄像装置1的横截面图。本实施例的移动体摄像装置1的特征在于，与图3的横截面图相比较，使电动机13a的旋转轴相对于电动机13b的旋转轴顺时针旋转来配置。
在实施例1的图3中，将电动机13a与电动机13b的旋转轴的距离A1设为42.5mm，将各可动镜的可动范围设为±20度，除此以外，作为被设置成可动镜12b与电动机13a不相干扰的区域，以可动镜12b的旋转轴为中心来设定圆C。
相对于此，在本实施例中，也避开被设置成可动镜12b与电动机13a不相干扰的圆C来设置电动机13a，但通过使电动机13a的安装角度倾斜16度，与图3的距离A1(42.5mm)相比，能减小电动机13a与电动机13b的旋转轴的距离A2(41.0mm)，作为结果，能减小为了确保同等的摄像范围所需的可动镜12b的大小。由于通过可动镜12b的小型化能减小可动镜12b的惯性矩，因此能降低可动镜12b的驱动所需的消耗电力，并且能更高速地驱动可动镜12b。
另外，在本实施例的移动体摄像装置1中，在摄像机11的安装位置处得到的摄像图像107倾斜可动镜12a的旋转轴的安装角度的量。因此，通过将摄像机相对于光轴倾斜地安装，所取得的摄像图像107的水平、垂直方向就与扫描方向一致，能使本装置的操作直观。另外，虽然即使将摄像机11水平安装，也能通过在所取得的摄像图像107中加进坐标变换等数值计算处理来实现，但由于需要运算处理，因此送往显示装置的图像信息的更新周期会降低。
本发明并不限定于上述的实施例，而是包含各种变形例。例如，上述的实施例为了以易于理解的方式说明本发明而详细进行了说明，但并不限定于必须具备所说明的全部构成。
附图标记说明
1 移动体摄像装置
2a 飞行体
2b 行驶体
3 光轴
11 摄像机
12a、12b 可动镜
121a、121b 反射镜部
122a、122b 底座部
13a、13b 电动机
14 控制部
20 指令输入装置
21a、21b 开关
22a、22b 存储部
23a、23b、24a、24b 加法运算器
25a、25b 补偿器
26a、26b 放大器
27 图像处理部
101a、101b 驱动电流
102a、102b 检测角度
103 摄像触发信号
104 摄像结束信号
105a、105b 目标角度指令
106a、106b 操作量
107 摄像图像
108a、108b 偏差量

Claims (9)

1.一种移动体摄像装置，追随横穿大致水平方向的移动体来进行摄像，所述移动体摄像装置的特征在于，具备：
摄像机，对依次由多个可动镜反射的所述移动体的像进行摄像；
重力方向可动镜，将该摄像机的摄像图像的重力方向作为扫描方向；
第一电动机，变更该重力方向可动镜的角度；
左右方向可动镜，将所述摄像机的摄像图像的左右方向作为扫描方向；
第二电动机，变更该左右方向可动镜的角度；和
控制部，控制所述摄像机、所述第一电动机以及所述第二电动机，
所述摄像机对依次由所述重力方向可动镜和所述左右方向可动镜反射的所述移动体的像进行摄像。
2.根据权利要求1所述的移动体摄像装置，其特征在于，
所述重力方向可动镜的惯性矩大于所述左右方向可动镜的惯性矩。
3.一种移动体摄像装置，追随从大致水平方向接近的移动体来进行摄像，所述移动体摄像装置的特征在于，具备：
摄像机，对依次由多个可动镜反射的所述移动体的像进行摄像；
重力方向可动镜，将该摄像机的摄像图像的重力方向作为扫描方向；
第一电动机，变更该重力方向可动镜的角度；
左右方向可动镜，将所述摄像机的摄像图像的左右方向作为扫描方向；
第二电动机，变更该左右方向可动镜的角度；和
控制部，控制所述摄像机、所述第一电动机以及所述第二电动机，
所述摄像机对依次由所述左右方向可动镜和所述重力方向可动镜反射的所述移动体的像进行摄像。
4.根据权利要求3所述的移动体摄像装置，其特征在于，
所述左右方向可动镜的惯性矩大于所述重力方向可动镜的惯性矩。
5.根据权利要求1～4中任一项所述的移动体摄像装置，其特征在于，
所述重力方向可动镜的反射面朝向地表来安装。
6.根据权利要求1～4中任一项所述的移动体摄像装置，其特征在于，
在安装所述摄像机的位置处得到的像是倾斜的。
7.根据权利要求6所述的移动体摄像装置，其特征在于，
所述摄像机相对于地表倾斜地安装。
8.一种移动体摄像方法，追随横穿大致水平方向的移动体来进行摄像，所述移动体摄像方法的特征在于，
对所述移动体进行摄像的摄像机对依次由重力方向可动镜和左右方向可动镜反射的所述移动体的像进行摄像，
其中，
所述重力方向可动镜将所述摄像机的摄像图像的重力方向作为扫描方向，且惯性矩大，
所述左右方向可动镜将所述摄像机的摄像图像的左右方向作为扫描方向，且惯性矩小。
9.一种移动体摄像方法，追随从大致水平方向接近的移动体来进行摄像，所述移动体摄像方法的特征在于，
对所述移动体进行摄像的摄像机对依次由左右方向可动镜和重力方向可动镜反射的所述移动体的像进行摄像，
其中，
所述左右方向可动镜将所述摄像机的摄像图像的左右方向作为扫描方向，且惯性矩大，
所述重力方向可动镜将所述摄像机的摄像图像的重力方向作为扫描方向，且惯性矩小。
CN201880001458.5A 2017-09-22 2018-02-02 移动体摄像装置以及移动体摄像方法 Pending CN109819690A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-182237 2017-09-22
JP2017182237A JP6448734B1 (ja) 2017-09-22 2017-09-22 移動体撮像装置、および、移動体撮像方法
PCT/JP2018/003574 WO2019058576A1 (ja) 2017-09-22 2018-02-02 移動体撮像装置、および、移動体撮像方法

Publications (1)

Publication Number Publication Date
CN109819690A true CN109819690A (zh) 2019-05-28

Family

ID=64960322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001458.5A Pending CN109819690A (zh) 2017-09-22 2018-02-02 移动体摄像装置以及移动体摄像方法

Country Status (4)

Country Link
US (1) US20200301128A1 (zh)
JP (1) JP6448734B1 (zh)
CN (1) CN109819690A (zh)
WO (1) WO2019058576A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105409199A (zh) * 2013-07-05 2016-03-16 国立大学法人东京大学 视线方向控制装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136234A (ja) 1996-10-30 1998-05-22 Shigeki Kobayashi 視角決め装置内蔵竪型監視用カメラ
JPH10164414A (ja) * 1996-12-03 1998-06-19 Canon Inc カメラ内蔵ノート型パーソナルコンピュータ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105409199A (zh) * 2013-07-05 2016-03-16 国立大学法人东京大学 视线方向控制装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
奥村光平: "《The Proceedings of JSME annual Conference on Robotics and Mechatronics》", 15 June 2011 *
奥村光平: "《計測自動制御学会論文集》", 30 September 2013 *

Also Published As

Publication number Publication date
JP6448734B1 (ja) 2019-01-09
WO2019058576A1 (ja) 2019-03-28
JP2019057877A (ja) 2019-04-11
US20200301128A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US7551771B2 (en) Methods, systems, and computer program products for acquiring three-dimensional range information
US9373023B2 (en) Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
US11978222B2 (en) Three-dimensional light field technology-based optical unmanned aerial vehicle monitoring system
CN103676455B (zh) 光学防震相机模组的自动调试方法及系统
CN207677845U (zh) 一种采用光电探测器阵列实现大范围扫描成像的装置
US10877365B2 (en) Aerial photography camera system
US11968448B2 (en) Imaging support device, imaging apparatus, imaging system, imaging support system, imaging support method, and program
JP6722849B2 (ja) 間歇的トラッキング撮影装置
CN109819690A (zh) 移动体摄像装置以及移动体摄像方法
CN111614875A (zh) 一种用于变电站巡检机器人的远程摄影云台控制系统
CN110324571A (zh) 移动体摄像装置以及移动体摄像方法
JP6452913B1 (ja) 移動体撮像装置及び移動体撮像方法
JP2017133949A (ja) 壁面計測装置、飛行ロボットおよび壁面検査システム
US20220188993A1 (en) Control apparatus, photographing apparatus, control method, and program
US20220046177A1 (en) Control device, camera device, movable object, control method, and program
CN210327775U (zh) 基于三维光场技术的光学无人机监测系统
CN112313943A (zh) 装置、摄像装置、移动体、方法以及程序
JP2021032990A (ja) 制御装置、撮像システム、制御方法、及びプログラム
JP7019895B2 (ja) 装置、撮像装置、撮像システム、移動体、方法、及びプログラム
WO2024042944A1 (ja) 制御装置、撮像システム、制御方法、及び制御プログラム
JP6679679B2 (ja) 制御装置、方法およびプログラム
JP2024041550A (ja) 目標捜索追随装置、撮像装置
JPH11252461A (ja) 走査型撮像装置
CN114600024A (zh) 装置、摄像装置、摄像系统及移动体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190528