CN112913229A - 摄像机设置辅助装置和方法、设置角度计算方法、程序和记录介质 - Google Patents

摄像机设置辅助装置和方法、设置角度计算方法、程序和记录介质 Download PDF

Info

Publication number
CN112913229A
CN112913229A CN201880097154.3A CN201880097154A CN112913229A CN 112913229 A CN112913229 A CN 112913229A CN 201880097154 A CN201880097154 A CN 201880097154A CN 112913229 A CN112913229 A CN 112913229A
Authority
CN
China
Prior art keywords
camera
angle
plane
optical axis
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880097154.3A
Other languages
English (en)
Other versions
CN112913229B (zh
Inventor
马少翔
小池正英
助野顺司
饭野晋
道簱聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN112913229A publication Critical patent/CN112913229A/zh
Application granted granted Critical
Publication of CN112913229B publication Critical patent/CN112913229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Projection Apparatus (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

确定投射器(40)相对于摄像机的相对角度(α)，使得在摄像机(50)的光轴(55)与平面(70)垂直的状态下，在摄像机的光轴与平面的交点处形成标记(47)，在不改变相对角度而改变了摄像机的设置角度(θ)的状态下，利用摄像机拍摄形成在平面的标记，根据通过拍摄而得到的图像内的标记与图像内的交点之间的距离，计算摄像机的设置角度。进而，计算并显示被计算出的设置角度相对于目标值的误差。即使形成标记的平面比较窄，也能够进行设置角度的计算或调整。

Description

摄像机设置辅助装置和方法、设置角度计算方法、程序和记录 介质
技术领域
本发明涉及摄像机设置辅助装置和方法、设置角度计算方法。本发明还涉及程序和记录介质。
背景技术
在设置监视摄像机时，需要使摄像机的设置角度与期望值(目标值)一致。目标值被设定为尽可能高效地覆盖监视对象区域，在设置时，进行调整以使设置角度与目标值一致。
在专利文献1中公开有用于使用于监视车辆周围的车载摄像机的安装角度(设置角度)成为期望值的校准方法。在该方法中，利用摄像机拍摄通过从发光装置进行照射而在地面形成的多个标记，识别拍摄图像内的标记，根据识别出的标记的形状、相互间距离等计算安装角度，根据计算结果进行安装角度的校正。
现有技术文献
专利文献
专利文献1：日本特开2007-274564号公报
发明内容
发明要解决的课题
专利文献1记载的方法存在需要用于形成多个标记的发光装置这样的问题。此外，需要在同一平面状形成多个标记，例如，在如建筑物的内部那样家具等障碍物较多而无法利用宽阔平面的情况下很难应用。
本发明鉴于上述课题，其目的在于，即使形成标记的平面比较窄，也能够进行设置角度的计算或调整。
用于解决课题的手段
本发明的一个方式的设置辅助装置的特征在于，所述设置辅助装置具有：投射器，其能够安装于摄像机，朝向平面照射光，在所述平面形成标记；识别部，其从通过所述摄像机拍摄所述标记而得到的图像中识别所述图像内的标记；设置角度计算部，其根据所述图像内的所述标记与所述摄像机的光轴和所述平面的交点之间的距离，计算所述摄像机的设置角度；存储部，其存储所述摄像机的设置角度的目标值；以及误差计算部，其对由所述设置角度计算部计算出的设置角度和所述存储部中存储的设置角度的目标值进行比较，计算误差。
本发明的另一个方式的设置角度计算方法的特征在于，从投射器朝向平面照射光，在所述平面形成标记，利用摄像机拍摄在所述平面形成的标记，根据如下的距离计算所述摄像机的设置角度，所述距离是通过拍摄而得到的图像内的所述标记与所述摄像机的光轴和所述平面的交点之间的距离。
发明效果
根据本发明，即使形成标记的平面比较窄，也能够进行设置角度的计算或调整。
附图说明
图1的(a)和(b)是与摄像机一起示出本发明的实施方式1的设置辅助装置的立体图。
图2的(a)和(b)是示出利用图1所示的设置辅助装置的投射器形成标记和利用摄像机拍摄标记的概略立面图。
图3的(a)和(b)是示出拍摄图像内的标记的位置的图。
图4是示出图1所示的设置辅助装置的主体部的结构的功能框图。
图5是示出对相对角度进行调整使得在摄像机的光轴与地面垂直时在摄像机的光轴与地面的交点处形成标记的状态的图。
图6是示出摄像机的光轴相对于地面倾斜时形成的标记的位置从摄像机的光轴与地面的交点起的偏移的图。
图7是示出地面上的标记的位置偏移与拍摄图像内的标记的位置偏移的关系的图。
图8是示出实施方式1中的设置辅助装置的动作的流程图。
图9是示出镜头的主点的位置与摄像机的转动中心不同的情况下标记的位置从摄像机的光轴与地面的交点起的偏移的图。
图10是示出投射器的相对转动的中心与图7的例子不同的情况下地面上的标记的位置偏移与拍摄图像内的标记的位置偏移的关系的图。
图11的(a)和(b)是示出本发明的实施方式2中的摄像机的光轴和投射器的光轴的立体图。
图12是从上方观察实施方式2中的摄像机的光轴和投射器的光轴的图。
图13的(a)和(b)是示出拍摄图像内的标记的位置的图。
图14是示出构成设置辅助装置的控制部的计算机的结构例的图。
具体实施方式
实施方式1
图1的(a)和(b)与摄像机50一起示出本发明的实施方式1的设置辅助装置10。其中，图1的(a)是从斜前方向观察的图，图1的(b)是从斜后方观察的图。
例如如图2的(a)和(b)所示，摄像机50安装于吊顶60。具体而言，摄像机50通过固定于吊顶60的安装部件62被安装成拍摄地面70。安装部件62具有转动支承部64，摄像机50支承于转动支承部64，能够绕其转动中心B进行转动，通过该转动，能够对摇摄角和俯仰角进行调整。摇摄角是绕与地面70垂直的直线的角度，俯仰角是相对于与地面70垂直的直线的倾斜角。
图2的(a)示出摄像机的光轴55与地面70垂直的状态，图2的(b)示出摄像机的光轴55相对于地面70倾斜的状态。在图2的(b)中，俯仰角由标号θ表示。在图2的(a)的状态下，俯仰角θ为零。
摄像机50被调整成摇摄角成为期望值(目标值)，并且被调整成俯仰角θ成为期望值(目标值)θr。也可以先进行摇摄角的调整和俯仰角的调整中的任意一方。
相对于吊顶60固定摄像机50的位置(水平面内的位置)的目标值、摄像机50的摇摄角的目标值和俯仰角的目标值预先决定。
如图1的(a)和(b)所示，摄像机50具有雌型连接器52，设置辅助装置10具有雄型连接器12。
雄型连接器12被插入到雌型连接器52，由此，设置辅助装置10固定于摄像机50。
图1的(b)示出雄型连接器12未插入到雌型连接器52的状态，图1的(a)示出雄型连接器12被插入到雌型连接器52的状态。
设置辅助装置10具有主体部20和投射器40，在主体部20设置有上述雄型连接器12。
投射器40例如由激光指示器构成，朝向地面70投射射束状的光，在地面70形成标记(光点)47。
下面，假设由投射器40形成的标记47为点状的且从投射器40投射的光束为细线状的情况进行说明。
投射器40被轴承部22支承成能够相对于主体部20进行转动，被后述的驱动部160驱动而以轴承部22的轴24为中心进行转动。
投射器40能够相对于主体部20进行转动，因此，在主体部20安装于摄像机50的状态下，投射器40能够相对于摄像机50进行转动，轴24构成相对转动的中心。
通过使投射器40进行转动，能够对投射器40的光轴方向进行变更。这里，投射器的光轴45是从投射器40投射的光束的中心行进的轨迹。
摄像机的光轴55和投射器的光轴45位于相同的垂直平面内。这里所说的垂直平面是与地面70垂直的平面。
将穿过摄像机的转动中心B且与地面70垂直的直线定义为Z轴，将位于上述垂直平面内且与Z轴正交的直线定义为Y轴。关于Y轴，将投射器40所在的一侧定义为正侧。在这样定义的情况下，上述垂直平面由YZ平面构成。
上述俯仰角θ是YZ平面内的光轴55相对于Z轴的角度。
轴承部22的轴24在与YZ平面正交的方向上延伸。
摄像机50拍摄其光轴55与地面70的交点57及其周边。
拍摄画面内的与摄像机的光轴55(因此为光轴55与地面70的交点57)对应的位置是图3的(a)和(b)中标号OA所示的位置，该位置能够根据摄像机50的构造，具体而言为光轴55与拍摄面的位置关系求出，因此是已知的。
如后所述，在摄像机的光轴55与地面70垂直时，如图3的(a)所示，对相对角度α进行调整，以使拍摄图像内的标记MK与交点OA一致。相对角度α是投射器的光轴45和摄像机的光轴55所成的角度。在这样调整后的状态下，如图2的(a)所示，在交点57的位置形成标记47。
在调整相对角度α后，进行俯仰角θ的调整。在调整俯仰角θ时，使相对角度α保持固定，使摄像机50以转动中心B为中心进行转动。进行该转动，以使摄像机的光轴55与地面70的交点57向投射器40所在的一侧即Y轴的正方向移动。
图示的设置辅助装置10在设置摄像机50时安装于摄像机50，用于俯仰角θ的调整以及在此之前的相对角度α的调整。
下面，假设设置辅助装置10在调整摄像机50的俯仰角后从摄像机50取下的情况进行说明，但是，也可以在调整摄像机50的俯仰角后也依然安装于摄像机50。
如图4所示，设置辅助装置10的主体部20具有控制部100、显示部150和驱动部160。
控制部100具有接口部102、识别部104、相对角度调整部106、设置角度计算部108、存储部110、误差计算部112和显示控制部114。
接口部102与摄像机50连接，取得摄像机50进行拍摄而生成的图像。
识别部104接受接口部102取得的图像，识别拍摄图像内的标记MK，掌握拍摄图像内的标记MK从交点OA起的偏移。
相对角度调整部106根据摄像机的光轴55与地面70垂直(图2的(a))时得到的拍摄图像中的标记MK的偏移，对相对角度α进行调整，以使该偏移成为零。通过使驱动部160进行动作来进行调整。
存储部110存储调整后的相对角度α作为“调整后的值”。
设置角度计算部108根据如下的位置(偏移)计算俯仰角θ，所述位置(偏移)是在相对角度α是调整后的值，且摄像机的光轴55位于与地面70垂直的方向以外的方向时，通过摄像机50进行拍摄而得到的图像内的标记MK的位置(偏移)。
这里，“相对角度α是调整后的值”不仅包含在对相对角度α进行调整后维持不变的情况，还包含使相对角度α成为与调整后不同的值然后返回调整后的值的情况。
存储部110还存储由未图示的设置参数生成系统生成的设置参数。
设置参数包含用于最有效地覆盖监视对象区域的设置位置(水平面内的位置)的目标值、摇摄角的目标值和俯仰角的目标值，例如事先通过模拟等来决定。这里，“最有效地覆盖”意味着没有死角、或死角最少、或从拍摄目的来看死角的影响最少。
误差计算部112对由设置角度计算部108计算出的俯仰角θ和存储部110中存储的俯仰角的目标值θr进行比较，计算误差。
显示控制部114使显示部150显示由误差计算部112计算出的误差。
误差例如通过字符显示成“+3度”、“-4度”等。取而代之或在此基础上，也可以利用图形的大小、颜色等进行显示。
在图1的(a)中示出显示部150的显示面152。
操作者能够一边观看显示面152中显示的误差，一边进行俯仰角的调整(通过以转动中心B为中心转动摄像机50而实现的设置角度的变更和修正)的作业。
下面，参照图5和图6对相对角度调整部106中的相对角度的调整和设置角度计算部108中的俯仰角的计算、以及误差计算部112中的误差的计算方法进行说明。
图5示出对相对角度α进行调整使得在摄像机的光轴55与地面70垂直时在摄像机的光轴55与地面70的交点处形成标记的状态。
图6示出相对角度α是与图5相同的值且使摄像机倾斜的状态。
另外，设转动中心B位于摄像机的光轴55上，YZ平面内的相对转动的中心24(相对转动的中心24与YZ平面的交点)位于投射器的光轴45上，并且位于穿过摄像机的转动中心B且与摄像机的光轴55垂直的直线(YZ平面内的直线)上。
投射器的相对转动的中心(轴)24的位置伴随着摄像机的转动而移动。
如图5所示，设摄像机的光轴55与地面70垂直时的上述相对转动的中心为Ao，如图6所示，设摄像机的光轴55相对于地面70倾斜时的上述相对转动的中心为A，设摄像机的转动中心为B。
此外，设摄像机的光轴55与地面70垂直时的摄像机的光轴55与地面70的交点(图2的(a)的57)为C，设使摄像机倾斜时的摄像机的光轴55与地面70的交点(图2的(b)的57)为D。
进而，设使摄像机倾斜时的投射器的光轴45与地面70的交点(形成标记47的位置)为E，设穿过相对转动的中心A且与地面70垂直的直线与穿过转动中心B且与线段DC平行的直线的交点为F，设穿过相对转动的中心A且与地面70垂直的直线与地面70的交点为G。
进而，设使摄像机倾斜时的摄像机的光轴55与投射器的光轴45的交点为H，设穿过交点H且与线段DC平行的直线与线段AG的交点为I，设穿过交点H且与线段DC平行的直线与线段BC的交点为J。
进而，设从转动中心B到上述交点C的距离为h，设相对转动的中心A与摄像机50的转动中心B之间的距离为s。
距离s是由摄像机50和设置辅助装置10的构造决定的值，是已知的。
如上所述，在摄像机50未倾斜时，如图3的(a)所示，对相对角度α进行调整，以使拍摄图像内的标记MK与交点OA一致，因此，在这样进行调整后的状态下，如图5所示，投射器的光轴45与地面70的交点(形成标记的位置)和摄像机的光轴55与地面70的交点C一致。
在摄像机50倾斜时，如图6所示，投射器的光轴45与地面70的交点(形成标记的位置)E从摄像机的光轴55与地面70的交点D偏移，在拍摄图像中，如图3的(b)所示，标记MK也出现在从交点OA偏移的位置。
利用标号d表示地面70上的标记的位置E的偏移(距离DE)，利用标号p表示拍摄图像中的标记MK的偏移。
在图6中，△AEG和△AHI处于相似关系，因此，以下的式子成立。
【数式1】
AE:AH＝AG:AI (1)
其中，
【数式2】
Figure BDA0002959959570000071
AG＝h+s·sinθ (2b)
AI＝h·cosθ+s·sinθ (2c)
通过将式(2a)～(2c)代入式(1)中，得到下述的式(3)。
【数式3】
Figure BDA0002959959570000072
通过对式(3)进行变形，得到下述的式(4)。
【数式4】
Figure BDA0002959959570000073
此外，△AGE是直角三角形，因此，以下的式(5)成立。
【数式5】
AE2＝AG2+EG2 (5)
其中，
【数式6】
EG＝h·tanθ-s·cosθ-d (6)
通过将式(4)、(2b)、(6)代入式(5)中，得到下述的式(7)。
【数式7】
Figure BDA0002959959570000081
根据使投射器40转动的角度(转动量)求出相对角度α。例如，通过对进行转动的部分附加旋转编码器，能够求出相对角度(调整后的值)α。此外，在驱动部160由脉冲马达构成的情况下，能够根据施加给脉冲马达的脉冲的数量求出相对角度(调整后的值)α。
此外，能够根据α和s，利用下述的式(8)计算从摄像机50的转动中心A到地面70的距离h。
【数式8】
Figure BDA0002959959570000082
图7示出地面上的标记的偏移d与拍摄图像内的标记的偏移p的关系。
在图7中，设摄像机50的镜头的主点与转动中心B一致。
摄像机50的摄像面与光轴55的交点S位于主点B后方(与被摄体相反的方向)的焦距f的位置。
设穿过形成标记的位置E且与线段AB平行的直线与光轴55的交点为U，设穿过交点S且与线段AB平行的直线与穿过主点B和点E的直线的交点为T。
进而，设线段ST的长度为p。
在利用摄像机进行拍摄时，在位于镜头后方的摄像面形成像，成为图像。在标记位于在地面70上从交点D偏移距离d的位置E时，拍摄图像内的标记MK出现在从交点OA偏移距离p的位置。
这里，△BST和△BUE处于相似关系，因此，以下的式子成立。
【数式9】
BU:BS＝UE:ST (9)
其中，
【数式10】
Figure BDA0002959959570000091
BS＝f (10b)
UE＝d·cosθ (10c)
ST＝p (10d)
因此，在将式(10a)～(10d)代入式(9)中时，得到下述的式(11)。
【数式11】
Figure BDA0002959959570000092
通过对式(11)进行变形，得到下述的式(12)。
【数式12】
Figure BDA0002959959570000093
通过对式(12)进行变形，得到下述的式(13)。
【数式13】
Figure BDA0002959959570000094
通过对式(13)进行变形，得到下述的式(14)。
【数式14】
Figure BDA0002959959570000095
在将式(14)代入式(7)中时，求出以下的式(15)。
【数式15】
Figure BDA0002959959570000096
如上所述，式(15)的变量中的s、α、h、p、f已知或能够另外计算，θ未知。
通过使用上述式(15)，能够根据图像内的距离p求出俯仰角θ。
误差计算部112计算如上所述计算出的俯仰角θ与存储部110中存储的目标值θr之差(误差)。
显示控制部114使显示部150显示计算出的俯仰角的误差。
操作者根据显示的误差，对俯仰角进行变更。
通过反复进行这种处理和作业，能够使俯仰角接近目标值或与目标值一致。
在设置多个摄像机的情况下，将设置辅助装置10依次安装于多个摄像机，1台1台地进行俯仰角的调整。即，在针对各摄像机结束调整后，从该摄像机取下设置辅助装置10，将其安装于下一个摄像机，进行同样的处理。由此，能够利用1台设置辅助装置进行多个摄像机的俯仰角的调整。
图8是示出使用实施方式1的设置辅助装置进行1台摄像机的俯仰角的调整时的处理步骤的一例的流程图。
首先，在步骤ST1中，从投射器40朝向地面70投射射束状的光。进行光的投射，以使标记47形成于地面70。
在步骤ST2中，接口部102从摄像机50取得拍摄图像，将其提供给识别部104。
在步骤ST3中，识别部104识别图像内的标记MK，将识别到标记的图像发送到相对角度调整部106和设置角度计算部108。
接着，在步骤ST4中，判定投射器40相对于摄像机50的相对角度α的调整是否已完成。
如果未完成，则进入步骤ST5，如果已完成，则进入步骤ST6。
在步骤ST5中，进行相对角度α的调整。
具体而言，如图2的(a)所示，对相对角度α进行调整，使得在摄像机50与地面70垂直时，在摄像机的光轴55与地面70的交点57处形成标记47。
识别部104识别拍摄图像内的标记MK，相对角度调整部106计算使识别到的标记MK的位置与交点OA的位置一致所需要的角度变更量，以计算出的角度变更量使驱动部160进行动作，由此进行相对角度α的调整。
在使驱动部160进行动作时，对通过驱动而使投射器40转动的角度进行累计，求出调整后的相对角度α，使存储部110进行存储。
在步骤ST5的处理后，操作者开始调整摄像机50的俯仰角θ。
进行该作业，以使摄像机50的俯仰角θ与目标值θr一致。具体而言，一边观看通过以下所述的处理而在显示部150中显示的误差，一边进行作业使得误差消失或误差更小。
在步骤ST6中，设置角度计算部108使用图像内的标记MK的位置(从交点OA起的偏移)计算摄像机50的俯仰角(测定值)θ，将其提供给误差计算部112。
在步骤ST7中，误差计算部112对由设置角度计算部108计算出的俯仰角θ和存储部110中存储的俯仰角的目标值θr进行比较，计算误差，将其发送到显示控制部114。
接着，在步骤ST8中，显示控制部114使显示部150显示从误差计算部112接收到的误差。
例如显示成“+3度”、“-4度”。
操作者根据显示的误差，对投射器40的设置角度进行变更。
例如，如果误差为“+3度”，则向减小设置角度的方向(向负方向变化的方向)移动。
在步骤ST9中，误差计算部112判定计算出的误差是否小于规定值。
在步骤ST9中误差小于规定值的情况下，结束处理。
在规定值以上的情况下，返回步骤ST1，反复进行步骤ST1～ST9。
只要在步骤ST9中误差为规定值以上，则与操作者是否进行设置角度的变更无关地，反复进行步骤ST1～ST9。
操作者进行设置角度的变更，如果误差变化，则显示的误差也被更新。
操作者一边观看被更新的误差，一边继续进行设置角度的变更。
另外，在误差小于规定值后，也可以一并显示该情况。
这样，操作者能够识别到调整已完成。
如上所述，也可以先进行摇摄角的调整和俯仰角的调整中的任意一方。在决定摇摄角的调整和俯仰角的调整的顺序时，可以考虑以下方面。
为了利用上述方法进行俯仰角的调整，在使摄像机倾斜时，也需要使标记形成于地面。在期望的摇摄角的方向上较近的位置处存在壁面、障碍物等的情况下，当在使投射器相对于摄像机位于期望的摇摄角的方向上的状态下(即结束摇摄角调整的状态下)使摄像机的俯仰角度变化时，标记有时形成于壁面、障碍物的面而不形成于地面。该情况下，在使投射器相对于摄像机位于与期望的摇摄角不同的到壁面、障碍物等的距离较长的方向上的状态下进行俯仰角的调整，然后进行摇摄角的调整(向期望的方向转动)即可。
由此，当在期望的摇摄角的方向上可利用的地面比较窄的情况下，也能够进行俯仰角的调整。
在上述例子中，在图7中，设镜头的主点与摄像机的转动中心一致，但是，即使不一致，也能够通过同样的处理进行俯仰角的计算。
例如，如图9所示，在镜头的主点位于转动中心B前方的距离g的点Ba的情况下，代替式(10a)而使用下述式(16)即可。
【数式16】
Figure BDA0002959959570000121
然后，代替式(9)而使用
【数式17】
BaU:BaS＝UE:ST (17)
在从式(11)起的计算式中，也进行基于上述内容的变更即可。
在上述例子中，设投射器的相对转动的中心(24)和摄像机的转动中心B排列在与摄像机的光轴55垂直的直线上，但是，在不排列的情况下，也能够通过同样的处理进行俯仰角的计算。
例如，如图10所示，考虑投射器的相对转动的中心(24)位于图10所示的位置(YZ平面内的位置)Ab的情况。位置Ab位于摄像机的光轴55上，并且位于穿过摄像机的转动中心B前方的距离t的点V且与光轴55垂直的直线上，从点V分开距离u。
该情况下，通过
【数式18】
s＝u+t·tanα (18)
求出s，代替式(8)而通过
【数式19】
Figure BDA0002959959570000122
求出h，在式(15)等的计算中使用这样求出的s、h即可。
在式(18)和(19)中，距离t、u是由摄像机50和设置辅助装置10的构造决定的值，是已知的。
此外，图10的标号Aa表示穿过(不是投射器40的相对转动的中心)摄像机的转动中心B且与摄像机的光轴55垂直的直线与投射器的光轴45的交点，s表示上述交点Aa与摄像机的转动中心B之间的距离。交点Aa和距离s伴随着相对角度α的变化而变化。
在上述例子中，假设摄像机50安装于屋内的吊顶60且在地面70形成标记的情况进行了说明，但是，也可以构成为不是在地面形成标记，而是在壁面形成标记。此外，设置摄像机的场所也可以是室外。该情况下，将上述说明中的地面改写成路面、陆地面、建筑物等的外壁面等，将吊顶改写成室外的构造物(支柱、建筑物的外壁)等即可。
实施方式2
上述实施方式1的设置辅助装置利用地面计算垂直方向的设置角度(俯仰角)，进行用于使计算出的俯仰角与目标值一致的调整。
实施方式2的设置辅助装置利用壁面计算监视摄像机的水平方向的设置角度(摇摄角)，进行用于使其与目标值一致的调整。
实施方式2的设置辅助装置具有与实施方式1中参照图1的(a)和(b)以及图4说明的结构的设置辅助装置相同的结构。但是，设置角度计算部108中的计算不同。
与图2的(a)和(b)所示的情况同样，摄像机50固定于吊顶60。但是，与实施方式1不同，如图11的(a)和(b)以及图12所示，摄像机50被安装成拍摄壁面80。
图11的(a)和(b)是从侧方观察朝向壁面80的摄像机50和设置辅助装置10的图，图12是从上方观察摄像机50和设置辅助装置10的图。
与实施方式1同样，投射器的光轴45位于与摄像机的光轴55相同的垂直平面内，相对于摄像机的光轴55倾斜角度α。
图11的(a)示出包含摄像机的光轴55和投射器的光轴45的垂直平面与壁面80垂直的情况，图11的(b)示出上述垂直平面相对于壁面80倾斜的情况。
在图11的(a)中，光轴55、45分别利用标号55(a)、45(a)表示，光轴55、45与壁面80的交点利用57(a)、47(a)表示。在图11的(b)中，光轴55、45分别利用55(b)、45(b)表示，光轴55、45与壁面80的交点利用57(b)、47(b)表示。
图12的点划线55(a)示出图11的(a)的状态下的摄像机的光轴。图12的虚线55(b)示出图11的(b)的状态下的摄像机的光轴。在图12中，投射器的光轴45(a)、45(b)与摄像机的光轴55(a)、55(b)重叠。
关于沿着光轴55的从摄像机50到壁面80的距离(从摄像机50到交点57(57(a)、57(b))的距离)和沿着光轴45的从投射器40到壁面80的距离(从投射器40到交点47(47(a)、47(b))的距离)，与图11的(a)的状态相比，图11的(b)较长。
因此，关于摄像机的光轴55与壁面80的交点57(57(a)、57(b))和投射器的光轴45与壁面80的交点(形成标记的位置)47(47(a)、47(b))之间的距离(垂直方向的距离)，与图11的(a)的情况相比，图11的(b)的情况较长。
这样，摄像机的光轴55与壁面80的交点57和投射器的光轴45与壁面80的交点47之间的距离根据摇摄角Φ而变化。
拍摄图像内的交点OA与标记MK之间的距离基于交点57与交点47之间的距离。
例如，图11的(a)的状态下的拍摄图像如图13的(a)那样，图11的(b)的状态下的拍摄图像如图13的(b)那样，跟图13的(a)中的交点OA与标记MK之间的距离p(a)相比，图13的(b)中的交点OA与标记MK之间的距离p(b)较长。
如上所述，拍摄图像内的交点OA与标记MK之间的距离p跟摇摄角Φ有关。
例如，如果将图11的(a)的状态下的摇摄角Φ定义为零，则随着摇摄角Φ的绝对值增大，拍摄图像内的交点OA与标记MK之间的距离p逐渐增大。
利用这种关系，与实施方式1中说明的情况同样，能够导出表示摇摄角Φ和拍摄图像内的交点OA与标记MK之间的距离p的关系的数式，利用导出的数式，根据拍摄图像内的摄像机的光轴55与壁面80的交点OA和标记MK之间的距离p，计算摇摄角Φ。
以上说明了将标记形成于地面或壁面的情况，但是，形成标记的面也可以是地面、壁面以外的面，总是，是任意的平面即可。
此外，说明了进行调整以使俯仰角或摇摄角与目标值一致的例子，但是，作为调整对象的角度也可以是俯仰角、摇摄角以外的设置角度。
上述设置辅助装置的控制部的一部分或全部能够由处理电路构成。
处理电路可以由硬件构成，也可以由软件即被编程的计算机构成。
控制部100由被编程的计算机构成的情况下的处理电路的结构例如如图14所示。
在图示的例子中，处理电路200具有处理器210和存储器220。
图14还示出由处理电路200控制的显示部150和驱动部160。
在存储器220中存储有用于实现控制部100的各部功能的程序。
存储器220还发挥控制部100内的图4的存储部110的作用。
处理器210例如使用CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)、微处理器、微控制器或DSP(Digital SignalProcessor：数字信号处理器)等。
存储器220例如使用RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)、闪存、EPROM(Erasable Programmable Read Only Memory：可擦除可编程只读存储器)或EEPROM(Electrically Erasable Programmable Read OnlyMemory：电可擦除可编程只读存储器)等半导体存储器、磁盘、光盘或光磁盘等。
处理器210读出并执行存储器220中存储的程序，由此实现控制部100的功能。
如上所述，控制部100的功能包含针对显示部150的显示控制、针对驱动部160的驱动控制。
以上说明了本发明的设置辅助装置。由上述设置辅助装置实施的设置辅助方法和设置角度计算方法也构成本发明的一部分。上述设置辅助装置、使计算机执行设置辅助方法或设置角度计算方法中的处理的程序以及记录有该程序的计算机能读取的记录介质也构成本发明的一部分。
另外，本发明不限于实施方式1、2中说明的结构，能够根据本发明的主旨进行各种变形，它们也包含在本发明的范围内。
如上所述，根据本发明，能够利用任意的平面计算设置角度，因此，针对任何环境的监视对象区域，都能够进行用于使摄像机的设置角度与目标值一致的调整。此外，如果显示设置角度的实际值相对于目标值的误差，则操作者能够观看显示的误差来决定变更的方向和大小，因此，容易进行设置角度的调整作业。
标号说明
10：设置辅助装置；40：投射器；50：摄像机；70：地面；102：接口部；104：识别部；106：相对角度调整部；108：设置角度计算部；110：存储部；112：误差计算部；150：显示部；160：驱动部。

Claims (13)

1.一种摄像机设置辅助装置，其特征在于，所述摄像机设置辅助装置具有：
投射器，其能够安装于摄像机，朝向平面照射光，在所述平面形成标记；
识别部，其从通过所述摄像机拍摄所述标记而得到的图像中识别所述图像内的标记；
设置角度计算部，其根据所述图像内的所述标记与所述摄像机的光轴和所述平面的交点之间的距离，计算所述摄像机的设置角度；
存储部，其存储所述摄像机的设置角度的目标值；以及
误差计算部，其对由所述设置角度计算部计算出的设置角度和所述存储部中存储的设置角度的目标值进行比较，计算误差。
2.根据权利要求1所述的摄像机设置辅助装置，其特征在于，
所述摄像机设置辅助装置还具有显示部，该显示部显示由所述误差计算部计算出的所述误差。
3.根据权利要求1或2所述的摄像机设置辅助装置，其特征在于，
所述摄像机设置辅助装置还具有相对角度调整部，该相对角度调整部对所述投射器相对于所述摄像机的相对角度进行调整，使得在所述摄像机的光轴与所述平面垂直时，在所述光轴与所述平面的交点处形成所述标记。
4.根据权利要求3所述的摄像机设置辅助装置，其特征在于，
所述相对角度调整部对所述相对角度进行调整，使得在所述摄像机的光轴与所述平面垂直时进行拍摄而得到的图像内，标记的位置与所述光轴和所述平面的交点的位置一致。
5.根据权利要求4所述的摄像机设置辅助装置，其特征在于，
所述摄像机设置辅助装置还具有驱动部，该驱动部使所述投射器转动，改变所述相对角度，
所述相对角度调整部根据由于所述驱动部的驱动而使所述投射器转动的角度，计算所述相对角度的调整后的值，
所述设置角度计算部在所述摄像机的设置角度的计算中还使用由所述相对角度调整部计算出的所述相对角度的调整后的值。
6.根据权利要求5所述的摄像机设置辅助装置，其特征在于，
所述设置角度计算部根据如下的距离计算所述摄像机的设置角度，所述距离是在所述相对角度是所述调整后的值，且所述摄像机的光轴位于与所述平面垂直的方向以外的方向时，拍摄所述标记而得到的图像内的所述标记与所述光轴和所述平面的距离。
7.根据权利要求1～6中的任意一项所述的摄像机设置辅助装置，其特征在于，
所述平面是地面，所述设置角度是俯仰角。
8.一种设置角度计算方法，其特征在于，
从投射器朝向平面照射光，在所述平面形成标记，
利用摄像机拍摄形成在所述平面的标记，
根据如下的距离计算所述摄像机的设置角度，所述距离是通过拍摄而得到的图像内的所述标记与所述摄像机的光轴和所述平面的交点之间的距离。
9.根据权利要求8所述的设置角度计算方法，其特征在于，
对所述投射器相对于所述摄像机的相对角度进行调整，使得在所述摄像机的光轴与所述平面垂直时，在所述光轴与所述平面的交点处形成所述标记，
根据如下的距离计算所述摄像机的设置角度，所述距离是在所述相对角度是调整后的值，且所述光轴位于与所述平面垂直的方向以外的方向时，通过拍摄所述标记而得到的图像内的所述标记与所述光轴和所述平面的交点之间的距离。
10.一种摄像机设置辅助方法，在该摄像机设置辅助方法中，计算并显示通过权利要求8或9所述的设置角度计算方法计算出的设置角度相对于该设置角度的目标值的误差。
11.一种程序，该程序用于使计算机执行权利要求8或9所述的设置角度计算方法中的处理。
12.一种程序，该程序用于使计算机执行权利要求10所述的摄像机设置辅助方法中的处理。
13.一种计算机能读取的记录介质，该记录介质存储有权利要求11或12所述的程序。
CN201880097154.3A 2018-09-10 2018-09-10 摄像机设置辅助装置和方法、设置角度计算方法和记录介质 Active CN112913229B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/033465 WO2020053936A1 (ja) 2018-09-10 2018-09-10 カメラ設置支援装置及び方法並びに設置角度算出方法、並びにプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN112913229A true CN112913229A (zh) 2021-06-04
CN112913229B CN112913229B (zh) 2023-04-21

Family

ID=69777683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880097154.3A Active CN112913229B (zh) 2018-09-10 2018-09-10 摄像机设置辅助装置和方法、设置角度计算方法和记录介质

Country Status (4)

Country Link
US (1) US11259013B2 (zh)
JP (1) JP7019064B2 (zh)
CN (1) CN112913229B (zh)
WO (1) WO2020053936A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
USD956586S1 (en) * 2019-08-26 2022-07-05 Autel Intelligent Technology Corp., Ltd. Line laser
JP6973467B2 (ja) * 2019-11-29 2021-12-01 セイコーエプソン株式会社 プロジェクター、及び投射光学装置
CN111257342B (zh) * 2020-03-31 2023-02-21 北京博清科技有限公司 相机定位系统和相机定位方法
CN113048940B (zh) * 2021-03-12 2023-05-26 西安艾博电子系统有限公司 一种基于星体定位方法及装置
US20230272595A1 (en) * 2022-02-28 2023-08-31 Caterpillar Inc. Remote control operation of a machine using a light beam for depth perception

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294195A (ja) * 2003-03-26 2004-10-21 Mitsubishi Electric Corp 焦点距離及び／又は画角算出方法ならびに焦点距離算出用光投射装置
JP2007274564A (ja) * 2006-03-31 2007-10-18 Aisin Aw Co Ltd キャリブレーション装置及びキャリブレーション方法
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法
JP2010010971A (ja) * 2008-06-25 2010-01-14 Fujitsu Ltd キャリブレーション装置
JP2012220356A (ja) * 2011-04-11 2012-11-12 Suzuki Motor Corp ステレオカメラ較正装置およびステレオカメラ較正方法
JP2013053948A (ja) * 2011-09-05 2013-03-21 Panasonic Corp カメラ状態測定装置およびカメラ状態測定方法
JP2013113805A (ja) * 2011-11-30 2013-06-10 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
CN103148832A (zh) * 2013-01-30 2013-06-12 天津市亚安科技股份有限公司 摄像机安装倾角的检测方法
JP2013147114A (ja) * 2012-01-18 2013-08-01 Toyota Motor Corp 周辺環境取得装置およびサスペンション制御装置
CN104247394A (zh) * 2012-04-04 2014-12-24 京瓷株式会社 校正操作装置、摄像机装置、摄像机系统和摄像机校正方法
CN105027141A (zh) * 2013-01-31 2015-11-04 富士机械制造株式会社 图像处理系统及辅助系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6520647B2 (en) * 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
AU2003243604A1 (en) * 2002-06-12 2003-12-31 Silicon Optix, Inc. Automatic keystone correction system and method
US7204596B2 (en) * 2003-09-19 2007-04-17 Nec Corporation Projector with tilt angle measuring device
JP3960390B2 (ja) * 2004-05-31 2007-08-15 Ｎｅｃディスプレイソリューションズ株式会社 台形歪み補正装置を備えたプロジェクタ
JP2006121290A (ja) 2004-10-20 2006-05-11 Fuji Xerox Co Ltd カメラ制御システム
JP4196951B2 (ja) * 2005-02-04 2008-12-17 セイコーエプソン株式会社 プロジェクタ、投写画像調整方法
US20070182936A1 (en) * 2006-02-08 2007-08-09 Canon Kabushiki Kaisha Projection display apparatus
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
US7980703B2 (en) * 2007-03-26 2011-07-19 Casio Computer Co., Ltd. Projector
JP2008271308A (ja) * 2007-04-23 2008-11-06 Sanyo Electric Co Ltd 画像処理装置及び方法並びに車両
JP2010219663A (ja) * 2009-03-13 2010-09-30 Alpine Electronics Inc 撮像装置のキャリブレーション方法およびキャリブレーションシステム
US8675090B2 (en) * 2010-12-15 2014-03-18 Panasonic Corporation Image generating apparatus, image generating method, and recording medium
JP5973704B2 (ja) * 2011-08-26 2016-08-23 キヤノン株式会社 投影制御装置及び投影制御方法
US9607363B2 (en) * 2012-06-19 2017-03-28 Ricoh Company, Ltd. Projector, trapezoidal distortion correction method, and storage medium storing trapezoidal distortion correction program
JP6127757B2 (ja) * 2013-06-14 2017-05-17 セイコーエプソン株式会社 プロジェクター、およびプロジェクターの制御方法
JP2016171509A (ja) * 2015-03-13 2016-09-23 三菱電機株式会社 キャリブレーション装置
CA3026231A1 (en) * 2016-06-08 2017-12-14 Sony Corporation Imaging control device and method, and vehicle
JP2018207373A (ja) * 2017-06-07 2018-12-27 パナソニックＩｐマネジメント株式会社 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294195A (ja) * 2003-03-26 2004-10-21 Mitsubishi Electric Corp 焦点距離及び／又は画角算出方法ならびに焦点距離算出用光投射装置
JP2007274564A (ja) * 2006-03-31 2007-10-18 Aisin Aw Co Ltd キャリブレーション装置及びキャリブレーション方法
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法
JP2010010971A (ja) * 2008-06-25 2010-01-14 Fujitsu Ltd キャリブレーション装置
JP2012220356A (ja) * 2011-04-11 2012-11-12 Suzuki Motor Corp ステレオカメラ較正装置およびステレオカメラ較正方法
JP2013053948A (ja) * 2011-09-05 2013-03-21 Panasonic Corp カメラ状態測定装置およびカメラ状態測定方法
JP2013113805A (ja) * 2011-11-30 2013-06-10 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2013147114A (ja) * 2012-01-18 2013-08-01 Toyota Motor Corp 周辺環境取得装置およびサスペンション制御装置
CN104247394A (zh) * 2012-04-04 2014-12-24 京瓷株式会社 校正操作装置、摄像机装置、摄像机系统和摄像机校正方法
CN103148832A (zh) * 2013-01-30 2013-06-12 天津市亚安科技股份有限公司 摄像机安装倾角的检测方法
CN105027141A (zh) * 2013-01-31 2015-11-04 富士机械制造株式会社 图像处理系统及辅助系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KUNFENG WANG; HUA HUANG; YUANTAO LI; FEI-YUE WANG: "Research on Lane-Marking Line Based Camera Calibration" *
NADA ELASSAL; JAMES H. ELDER: "Estimating Camera Tilt from Motion without Tracking" *
彭梦;蔡自兴: "一种基于双平行平面的激光雷达和摄像机标定方法" *
黄福明;郭太良;姚剑敏;林志贤;徐胜: "头位跟踪系统中摄像机标定技术的研究" *

Also Published As

Publication number Publication date
JPWO2020053936A1 (ja) 2021-05-13
WO2020053936A1 (ja) 2020-03-19
CN112913229B (zh) 2023-04-21
JP7019064B2 (ja) 2022-02-14
US20210306621A1 (en) 2021-09-30
US11259013B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
CN112913229B (zh) 摄像机设置辅助装置和方法、设置角度计算方法和记录介质
EP2962284B1 (en) Optical navigation & positioning system
JP6009894B2 (ja) キャリブレーション方法、及びキャリブレーション装置
US7990415B2 (en) Image input device and calibration method
JP5223811B2 (ja) 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
CN113923420B (zh) 区域调整方法和装置、摄像头和存储介质
CN110622091A (zh) 云台的控制方法、装置、系统、计算机存储介质及无人机
KR101649753B1 (ko) 다시점 카메라가 획득한 영상을 정합하는 방법 및 다시점 카메라 제어 시스템
KR20130121290A (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
WO2020041969A1 (zh) 云台的目标位置标记方法、云台与拍摄装置
CN111147834A (zh) 一种基于增强现实抬头显示的虚拟图像标定方法
CN109444163B (zh) 获取透视畸变逆变换矩阵的系统
JP2006325070A (ja) 監視カメラ装置及びそのチルト動作端設定方法
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
WO2021140863A1 (ja) 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法
KR101104450B1 (ko) 터널 조사용 입체 영상 촬영 장치
JP2008013023A (ja) インナーミラー装置及びその角度調整方法
JP2002010297A (ja) ステレオ画像撮影システム
JP4141874B2 (ja) 焦点距離及び／又は画角算出方法ならびに焦点距離算出用光投射装置
WO2022052508A1 (zh) 一种测距方法、装置、终端设备和汽车
JP2005175852A (ja) 撮影装置及び撮影装置の制御方法
EP3340611A1 (en) An apparatus and associated methods for virtual reality scene capture
WO2022074848A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN117405027B (zh) 一种基于单目相机的测距方法及终端
KR102373572B1 (ko) 서라운드 뷰 모니터링 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant