CN113724338A - 基于球台拍摄移动对象的方法、系统、设备及存储介质 - Google Patents

基于球台拍摄移动对象的方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN113724338A
CN113724338A CN202111017327.6A CN202111017327A CN113724338A CN 113724338 A CN113724338 A CN 113724338A CN 202111017327 A CN202111017327 A CN 202111017327A CN 113724338 A CN113724338 A CN 113724338A
Authority
CN
China
Prior art keywords
moving object
camera
optical axis
shot
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111017327.6A
Other languages
English (en)
Other versions
CN113724338B (zh
Inventor
谭黎敏
赵钊
龚霁程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Westwell Information Technology Co Ltd
Original Assignee
Shanghai Westwell Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Westwell Information Technology Co Ltd filed Critical Shanghai Westwell Information Technology Co Ltd
Priority to CN202111017327.6A priority Critical patent/CN113724338B/zh
Publication of CN113724338A publication Critical patent/CN113724338A/zh
Application granted granted Critical
Publication of CN113724338B publication Critical patent/CN113724338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供了基于球台拍摄移动对象的方法、系统、设备及存储介质，该方法包括以下步骤：基于监控区域将一激光雷达与一球台装置驱动的相机进行联合标定；基于相机旋转的旋转所需时长和待拍摄移动对象到达预测位置的时长自预测位置中获得目标位置，将相机旋转到一可提前就位的目标位置对应的光轴位置；当激光雷达检测到待拍摄移动对象到达的目标位置时，相机拍摄待拍摄移动对象的图像。本发明克服了球台自身转速难以匹配移动对象的缺点，能够在不增加硬件成本的前提下，使得现有的球台监控都能清楚地拍摄运动中的移动对象，增强了监控系统的图像捕捉能力。

Description

基于球台拍摄移动对象的方法、系统、设备及存储介质
技术领域
本发明属于视觉监控领域，尤其涉及一种基于球台拍摄移动对象的方法、系统、设备及存储介质。
背景技术
监控系统又称之为闭路电视监控系统(英文：Closed-Circuit Television，缩写CCTV)，典型的监控系统主要由前端音视频采集设备、音视频传输设备、后端存储、控制及显示设备这五大部分组成，其中后端设备可进一步分为中心控制设备和分控制设备。前、后端设备有多种构成方式，它们之间的联系(也可称作传输系统)可通过同轴电缆、双绞线、光纤、微波、无线等多种方式来实现。
目前的大部分的监控系统采用球台摄像机，以便获得更大拍摄范围，并通过球台摄像机内部的旋转机构转动，来伴随移动对象进行旋转，来拍摄移动对象的图像。但是基于成本原因，监控系统的设备中的大部分采用的是低速、低精度的齿轮传动，由于球台摄像机通常体积不大，使得其内部的齿轮的旋转角度控制较为模糊，转动的速度也不足，使得球台摄像机通过旋转追踪拍摄运动的行人或者车辆时由于球台内部马达的振动以及行人或者车辆本身的移动，造成球台摄像机在跟踪拍摄移动对象时总是模糊，获得的图片不能得到清楚的人像或是号码，难以起到监控的作用。尤其是在例如无人码头越发成熟以后，集卡的行驶速度较高，进一步增加了普通的球台摄像机拍摄图片的精度。
同样地，走廊或是广场等场景中，现有的球台摄像机或许可以拍摄步行速度的行人，但是对于跑步的行人同样无法拍摄到清晰图像，但恰恰在发生治安事件是，嫌疑人很多情况下都是在跑步逃避的，球台摄像机无法起到足够的监控效果。
因此，本发明提供了一种基于球台拍摄移动对象的方法、系统、设备及存储介质。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题，本发明的目的在于提供基于球台拍摄移动对象的方法、系统、设备及存储介质，克服了球台自身转速难以匹配移动对象的缺点，能够在不增加硬件成本的前提下，使得现有的球台监控都能清楚地拍摄运动中的移动对象，增强了监控系统的图像捕捉能力，优化了产品的图像效果。
本发明的实施例提供一种基于球台拍摄移动对象的方法，包括以下步骤：
基于监控区域将一激光雷达与一球台装置驱动的相机进行联合标定；
基于待拍摄移动对象的历史移动轨迹，预测未来时间点时所述待拍摄移动对象的各个预测位置以及对应的所述相机的光轴位置；
基于所述相机旋转的旋转所需时长和所述待拍摄移动对象到达预测位置的时长自所述预测位置中获得目标位置，将所述相机旋转到一可提前就位的目标位置对应的所述光轴位置；
当所述激光雷达检测到所述待拍摄移动对象到达的所述目标位置时，所述相机拍摄所述待拍摄移动对象的图像。
优选地，所述基于待拍摄移动对象的历史移动轨迹，预测未来时间点时所述待拍摄移动对象的各个预测位置以及对应的所述相机的光轴位置中，包括以下步骤：
所述激光雷达采集点云数据，并将点云数据实时输入一神经网络识，自点云数据获得至少一的预设移动对象；
所述激光雷达采集监控区域的至少一待拍摄移动对象的历史移动轨迹；
基于所述历史移动轨迹，预测所述待拍摄移动对象的未来移动轨迹以及在若干未来时间点时所述待拍摄移动对象的各个预测位置；
根据每个所述预测位置获得对应的所述相机的光轴位置。
优选地，所述基于所述相机旋转的旋转所需时长和所述待拍摄移动对象到达预测位置的时长自所述预测位置中获得目标位置，将所述相机旋转到一可提前就位的目标位置对应的所述光轴位置中，包括以下步骤：
获得所述相机基于当前机位通过旋转到达所述光轴位置所需时长，建立每个所述预测位置以及对应的所述未来时间点、所述光轴位置、所述所需时长之间的映射关系表；
获得所述预测位置对应的所述未来时间点与当前时刻的时间差；
至少选择一所述预测位置作为目标位置，所述目标位置的所述时间差大于对应的所述预测位置对应的所需时长；
所述相机旋转到所述目标位置对应的所述光轴位置。
优选地，所述获得所述相机基于当前机位通过旋转到达所述光轴位置所需时长，建立每个所述预测位置以及对应的所述未来时间点、所述光轴位置、所述所需时长之间的映射关系表中，还包括
通过一预设时长表获得所述相机基于当前机位通过旋转到达所述光轴位置所需时长，所述预设时长表中预存了所述相机自任一光轴位置通过所述球台装置驱动到达另一光轴位置所需的时长。
优选地，所述未来移动轨迹是所述待拍摄移动对象对点的历史移动轨迹的延长线。
优选地，基于所述历史移动轨迹的起点和终点分别作为直线的两端获得的一参考轨迹线，将所述参考轨迹线自所述终点的一端继续延长获得未来移动轨迹。
优选地，所述待拍摄移动对象是车辆和/或行人。
本发明的实施例还提供一种基于球台拍摄移动对象的系统，用于实现上述的基于球台拍摄移动对象的方法，基于球台拍摄移动对象的系统包括：
联合标定模块，基于监控区域将一激光雷达与一球台装置驱动的相机进行联合标定；
预测位置模块，基于待拍摄移动对象的历史移动轨迹，预测未来时间点时所述待拍摄移动对象的各个预测位置以及对应的所述相机的光轴位置；
预测光轴模块，基于所述相机旋转的旋转所需时长和所述待拍摄移动对象到达预测位置的时长自所述预测位置中获得目标位置，将所述相机旋转到一可提前就位的目标位置对应的所述光轴位置；
图像拍摄模块，当所述激光雷达检测到所述待拍摄移动对象到达的所述目标位置时，所述相机拍摄所述待拍摄移动对象的图像。
本发明的实施例还提供一种基于球台拍摄移动对象的设备，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述基于球台拍摄移动对象的方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述基于球台拍摄移动对象的方法的步骤。
本发明的基于球台拍摄移动对象的方法、系统、设备及存储介质，克服了球台自身转速难以匹配移动对象的缺点，能够在不增加硬件成本的前提下，使得现有的球台监控都能清楚地拍摄运动中的移动对象，增强了监控系统的图像捕捉能力，优化了产品的图像效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的基于球台拍摄移动对象的方法的流程图。
图2至6是使用本发明的基于球台拍摄移动对象的方法的过程步骤示意图。
图7是本发明的基于球台拍摄移动对象的系统的结构示意图
图8本发明的基于球台拍摄移动对象的设备的结构示意图。以及
图9是本发明一实施例的计算机可读存储介质的结构示意图。
附图标记
1 球台装置
11 目标检测范围
2 集卡
21 预测位置
22 预测位置
23 预测位置
24 预测位置
25 预测位置
26 预测位置
27 预测位置
21A 光轴位置
22A 光轴位置
23A 光轴位置
24A 光轴位置
25A 光轴位置
31 车道
32 车道
33 车道
34 车道
35 车道
41 行人
42 行人
43 行人
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本申请所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统，本申请中的各项细节也可以根据不同观点与应用系统，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。
在本申请的表示中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于表示目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的表示中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了明确说明本申请，省略与说明无关的器件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
在通篇说明书中，当说某器件与另一器件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种器件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。
当说某器件在另一器件“之上”时，这可以是直接在另一器件之上，但也可以在其之间伴随着其它器件。当对照地说某器件“直接”在另一器件“之上”时，其之间不伴随其它器件。
虽然在一些实例中术语第一、第二等在本文中用来表示各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等表示。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。
图1是本发明的基于球台拍摄移动对象的方法的流程图。如图1所示，本发明基于球台拍摄移动对象的方法，包括以下步骤：
S110、基于监控区域将一激光雷达与一球台装置驱动的相机进行联合标定。本实施例中的球台装置具有水平方向360°以及垂直方向90°的旋转能力，可以实现了球向旋转，但不以此为限。
S120、基于待拍摄移动对象的历史移动轨迹，预测未来时间点时待拍摄移动对象的各个预测位置以及对应的相机的光轴位置。
S130、基于相机旋转的旋转所需时长和待拍摄移动对象到达预测位置的时长自预测位置中获得目标位置，将相机旋转到一可提前就位的目标位置对应的光轴位置。
S140、当激光雷达检测到待拍摄移动对象到达的目标位置时，相机拍摄待拍摄移动对象的图像。
本发明的步骤S110中，采用现有技术来实现激光雷达与一球台装置驱动的相机进行基于世界坐标系的联合标定，使得相机光轴指向的世界坐标系中的位置与激光雷达侦测的世界坐标系中的位置能够一一对应起来 (该技术已经常用于具有激光雷达、红外、光学传感器等多种传感器综合使用的新能源车领域)。以下专利都公开了相关的现有技术，此处不再赘述：CN113034621B，联合标定方法、装置、设备、车辆及存储介质； CN112631314B，基于多线激光雷达与事件相机SLAM的机器人控制方法、系统；CN111735479B，一种多传感器联合标定装置及方法； CN110675431B，一种融合图像和激光点云的三维多目标跟踪方法；CN110244282B，一种多相机系统和激光雷达联合系统及其联合标定方法；CN110009765B，一种自动驾驶车辆场景数据系统的场景格式转化方法；CN109300162B，一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法；CN109270534B，一种智能车激光传感器与相机在线标定方法，但不以此为限。并且，通过现有技术手段，基于相机的视角和焦段，将相机的每个光轴下对应的图像的范围与激光雷达获得的点云的局部范围相匹配，使得无论相机旋转后拍摄哪个区域，都能映射到点云的对应部分点云数据。并且，在一个优选例中，本发明中还基于现有技术或是未来技术的点云识别算法，识别出在点云中每个行人的部分点云数据并跟踪，通过这种方式，在激光雷达与一球台装置驱动的相机联合标定之后，就能获得相机拍摄的图片中的行人对应的部分的点云数据，借助后续步骤形成激光雷达与相机基于运动物体的联动跟踪。(以及这位行人的历史轨迹的点云数据，此处不再赘述。)该步骤S110不是本发明的核心技术步骤，只属于为了实现后续步骤，而采用现有技术或是未来的技术方案完成的前置条件，关于此处使用的现有技术不再赘述。
在一个优选实施例中，步骤S120中，包括以下步骤：
S121、所述激光雷达采集点云数据，并将点云数据实时输入一神经网络识(本实施例中，采用基于现有技术的经过大量点云数据训练，用于基于点云数据识别运动物体的一点云识别神经网络识，相关现有技术好此处不再赘述)，自点云数据获得至少一的预设移动对象。
S122、激光雷达采集监控区域的至少一待拍摄移动对象的历史移动轨迹。
S123、基于历史移动轨迹，预测待拍摄移动对象的未来移动轨迹以及在若干未来时间点时待拍摄移动对象的各个预测位置。
S124、根据每个预测位置获得对应的相机的光轴位置，但不以此为限。
在一个优选实施例中，步骤S130中，包括以下步骤：
S131、获得相机基于当前机位通过旋转到达光轴位置所需时长，建立每个预测位置以及对应的未来时间点、光轴位置、所需时长之间的映射关系表。
S132、获得预测位置对应的未来时间点与当前时刻的时间差。
S133、至少选择一预测位置作为目标位置，目标位置的时间差大于对应的预测位置对应的所需时长。
S134、相机旋转到目标位置对应的光轴位置，但不以此为限。
在一个优选实施例中，步骤S131中，通过一预设时长表获得相机基于当前机位通过旋转到达光轴位置所需时长，预设时长表中预存了相机自任一光轴位置通过球台装置驱动到达另一光轴位置所需的时长，但不以此为限。
在一个优选实施例中，未来移动轨迹是待拍摄移动对象对点的历史移动轨迹的延长线，但不以此为限。
在一个优选实施例中，基于历史移动轨迹的起点和终点分别作为直线的两端获得的一参考轨迹线，将参考轨迹线自终点的一端继续延长获得未来移动轨迹，但不以此为限。
在一个优选实施例中，步骤S120中，激光雷达采集多个待拍摄移动对象的历史移动轨迹，预测未来时间点时每个待拍摄移动对象的各个预测位置以及对应的相机的光轴位置。
步骤S130中，基于相机旋转的旋转所需时长和待拍摄移动对象到达预测位置的时长自预测位置中获得目标位置，对每个待拍摄移动对象的最早的可提前就位的目标位置对应的所需时长进行排序，将所需时长最短的待拍摄移动对象作为本次拍摄对象，将相机旋转到一本次拍摄对象的可提前就位的目标位置对应的光轴位置。
步骤S140中，当激光雷达检测到待拍摄移动对象到达的目标位置时，相机拍摄待拍摄移动对象的图像，返回步骤S120，以便分次拍摄多个待拍摄移动对象。
在一个优选实施例中，待拍摄移动对象是车辆和/或行人，但不以此为限。
以下通过图2至6展示了本发明的基于球台拍摄移动对象的方法的实施过程示意图。如图2至6所示，本发明的实施过程如下：
如图2、3所示，在一个无人码头的道路中设置至少一激光雷达与一球台装置驱动的相机1，并基于道路进行激光雷达与球台装置驱动的相机在世界坐标系下的联合标定，使得相机光轴指向的位置与激光雷达中的位置能够一一对应起来。该道路包括：车道31、车道32、车道33、车道 34、车道35共五车道，通过球台装置驱动的相机1来拍摄经过多个道路(车道31、车道32、车道33、车道34、车道35)的集卡2的图像(由于集卡2的形式速度较快，现有技术拍摄通过球台转动追踪集卡2拍摄得到的图片很模糊)。激光雷达采集道路(包含车道31、车道32、车道33、车道34、车道35范围)的点云数据，并将点云数据实时输入一神经网络识，自点云数据获得至少一的预设移动对象(集卡)。
如图4所示，通过激光雷达采集监控区域的至少一集卡2的历史移动轨迹G，即记录过去时段内集卡2所在的位置，基于时序连接这些位置获得历史移动轨迹G。基于历史移动轨迹G，预测集卡2的未来移动轨迹H 以及在若干未来时间点时集卡2的各个预测位置，本实施例中，未来移动轨迹H是集卡2对点的历史移动轨迹G的延长线，基于历史移动轨迹G 的起点和终点分别作为直线的两端获得的一参考轨迹线，将参考轨迹线自终点的一端继续延长获得未来移动轨迹H。并且，基于集卡2在过去时段内的平均速度来计算出未来各时间点的集卡2在未来移动轨迹H上的位置。本实施例中以未来的0.1秒为间隔，获得：
自当前时刻起0.1秒后，集卡2位于预测位置21；
自当前时刻起0.2秒后，集卡2位于预测位置22；
自当前时刻起0.3秒后，集卡2位于预测位置23；
自当前时刻起0.4秒后，集卡2位于预测位置24；
自当前时刻起0.5秒后，集卡2位于预测位置25；
自当前时刻起0.6秒后，集卡2位于预测位置26；
自当前时刻起0.7秒后，集卡2位于预测位置27……
根据每个预测位置(预测位置21、预测位置22、预测位置23、预测位置24……)获得对应的相机的光轴位置。
根据预测位置21获得光轴位置21A；
根据预测位置22获得光轴位置22A；
根据预测位置23获得光轴位置23A；
根据预测位置24获得光轴位置24A；
根据预测位置25获得光轴位置25A……
通过一预设时长表获得相机基于当前机位通过旋转到达光轴位置所需时长，预设时长表中预存了相机自任一光轴位置通过球台装置驱动到达另一光轴位置所需的时长，该预设时长表是预先测试获得的数据，此处不再赘述。建立每个预测位置以及对应的未来时间点T2、光轴位置、所需时长T’之间的映射关系表。获得每个预测位置对应的未来时间点与当前时刻的时间差△T，△T＝T2-T1。至少选择一预测位置作为目标位置，目标位置的时间差△T大于对应的预测位置对应的所需时长T’。本实施例中，
预测位置21的时间差△T小于对应的预测位置对应的所需时长T’；
预测位置22的时间差△T小于对应的预测位置对应的所需时长T’；
预测位置23的时间差△T小于对应的预测位置对应的所需时长T’；
预测位置24的时间差△T小于对应的预测位置对应的所需时长T’；
预测位置25的时间差△T大于对应的预测位置对应的所需时长T’；
预测位置26的时间差△T大于对应的预测位置对应的所需时长T’；
预测位置27的时间差△T大于对应的预测位置对应的所需时长 T’))本实施例中，选取预测位置25作为目标位置，将相机旋转到一可提前就位的预测位置25对应的光轴位置25A。
如图5所示，根据光轴位置25A对应的世界坐标系下的位置生成一目标检测范围11，当激光雷达检测到集卡2到达的目标检测范围11中时，相机拍摄集卡2的图像。由于此时，球台装置驱动的相机1已经提前到达了光轴位置25A，所以，球台装置中的马达都是静止的，相机1不再受到马达运动振动的影响，从而能都拍摄出更清晰准确的图像。
在一个变化例中，如图6所示，在一个走廊或是大门设置至少一激光雷达与一球台装置驱动的相机1，并进行激光雷达与球台装置驱动的相机在世界坐标系下的联合标定，使得相机光轴指向的位置与激光雷达中的位置能够一一对应起来。通过预测不同行人(行人41、42、43)各自的历史轨迹，来预测每位行人在未来时间点的各个预测位置以及对应的相机的光轴位置。基于相机旋转的旋转所需时长和行人到达预测位置的时长自预测位置中获得目标位置，将不同行人的最早的可提前就位的目标位置所需的时间进行排序，优先拍摄所需的时间最短的行人，将相机旋转到一所需的时间最短的行人对应可提前就位的目标位置对应的光轴位置。当激光雷达检测到行人到达的目标位置时，相机拍摄行人的图像。
本发明的基于球台拍摄移动对象的方法克服了球台自身转速难以匹配移动对象的缺点，能够在不增加硬件成本的前提下，使得现有的球台监控都能清楚地拍摄运动中的移动对象，增强了监控系统的图像捕捉能力，优化了产品的图像效果。
图7是本发明的基于球台拍摄移动对象的系统的结构示意图。如图7 所示，本发明的实施例还提供一种基于球台拍摄移动对象的系统5，用于实现上述的基于球台拍摄移动对象的方法，包括：
联合标定模块51，基于监控区域将一激光雷达与一球台装置驱动的相机进行联合标定。
预测位置模块52，基于待拍摄移动对象的历史移动轨迹，预测未来时间点时待拍摄移动对象的各个预测位置以及对应的相机的光轴位置。
预测光轴模块53，基于相机旋转的旋转所需时长和待拍摄移动对象到达预测位置的时长自预测位置中获得目标位置，将相机旋转到一可提前就位的目标位置对应的光轴位置。
图像拍摄模块54，当激光雷达检测到待拍摄移动对象到达的目标位置时，相机拍摄待拍摄移动对象的图像，返回步骤S120，以便分次拍摄多个待拍摄移动对象。
本发明的基于球台拍摄移动对象的系统，克服了球台自身转速难以匹配移动对象的缺点，能够在不增加硬件成本的前提下，使得现有的球台监控都能清楚地拍摄运动中的移动对象，增强了监控系统的图像捕捉能力，优化了产品的图像效果。
本发明实施例还提供一种基于球台拍摄移动对象的设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于球台拍摄移动对象的方法的步骤。
如上，本发明的基于球台拍摄移动对象的设备克服了球台自身转速难以匹配移动对象的缺点，能够在不增加硬件成本的前提下，使得现有的球台监控都能清楚地拍摄运动中的移动对象，增强了监控系统的图像捕捉能力，优化了产品的图像效果。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图8是本发明的基于球台拍摄移动对象的设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。电子设备 600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线 630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备 600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于球台拍摄移动对象的方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，克服了球台自身转速难以匹配移动对象的缺点，能够在不增加硬件成本的前提下，使得现有的球台监控都能清楚地拍摄运动中的移动对象，增强了监控系统的图像捕捉能力，优化了产品的图像效果。
图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如 Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的基于球台拍摄移动对象的方法、系统、设备及存储介质，克服了球台自身转速难以匹配移动对象的缺点，能够在不增加硬件成本的前提下，使得现有的球台监控都能清楚地拍摄运动中的移动对象，增强了监控系统的图像捕捉能力，优化了产品的图像效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于球台拍摄移动对象的方法，其特征在于，包括以下步骤：
基于监控区域将一激光雷达与一球台装置驱动的相机进行联合标定；
基于待拍摄移动对象的历史移动轨迹，预测未来时间点时所述待拍摄移动对象的各个预测位置以及对应的所述相机的光轴位置；
基于所述相机旋转的旋转所需时长和所述待拍摄移动对象到达预测位置的时长自所述预测位置中获得目标位置，将所述相机旋转到一可提前就位的目标位置对应的所述光轴位置；
当所述激光雷达检测到所述待拍摄移动对象到达的所述目标位置时，所述相机拍摄所述待拍摄移动对象的图像。
2.根据权利要求1所述的基于球台拍摄移动对象的方法，其特征在于，所述基于待拍摄移动对象的历史移动轨迹，预测未来时间点时所述待拍摄移动对象的各个预测位置以及对应的所述相机的光轴位置中，包括以下步骤：
所述激光雷达采集点云数据，并将点云数据实时输入一神经网络识，自点云数据获得至少一的预设移动对象；
所述激光雷达采集监控区域的至少一待拍摄移动对象的历史移动轨迹；
基于所述历史移动轨迹，预测所述待拍摄移动对象的未来移动轨迹以及在若干未来时间点时所述待拍摄移动对象的各个预测位置；
根据每个所述预测位置获得对应的所述相机的光轴位置。
3.根据权利要求1所述的基于球台拍摄移动对象的方法，其特征在于，所述基于所述相机旋转的旋转所需时长和所述待拍摄移动对象到达预测位置的时长自所述预测位置中获得目标位置，将所述相机旋转到一可提前就位的目标位置对应的所述光轴位置中，包括以下步骤：
获得所述相机基于当前机位通过旋转到达所述光轴位置所需时长，建立每个所述预测位置以及对应的所述未来时间点、所述光轴位置、所述所需时长之间的映射关系表；
获得所述预测位置对应的所述未来时间点与当前时刻的时间差；
至少选择一所述预测位置作为目标位置，所述目标位置的所述时间差大于对应的所述预测位置对应的所需时长；
所述相机旋转到所述目标位置对应的所述光轴位置。
4.根据权利要求1所述的基于球台拍摄移动对象的方法，其特征在于，所述获得所述相机基于当前机位通过旋转到达所述光轴位置所需时长，建立每个所述预测位置以及对应的所述未来时间点、所述光轴位置、所述所需时长之间的映射关系表中，还包括
通过一预设时长表获得所述相机基于当前机位通过旋转到达所述光轴位置所需时长，所述预设时长表中预存了所述相机自任一光轴位置通过所述球台装置驱动到达另一光轴位置所需的时长。
5.根据权利要求2所述的基于球台拍摄移动对象的方法，其特征在于，所述未来移动轨迹是所述待拍摄移动对象对点的历史移动轨迹的延长线。
6.根据权利要求5所述的基于球台拍摄移动对象的方法，其特征在于，基于所述历史移动轨迹的起点和终点分别作为直线的两端获得的一参考轨迹线，将所述参考轨迹线自所述终点的一端继续延长获得未来移动轨迹。
7.根据权利要求1所述的基于球台拍摄移动对象的方法，其特征在于，所述待拍摄移动对象是车辆和/或行人。
8.一种基于球台拍摄移动对象的系统，其特征在于，用于实现如权利要求1所述的基于球台拍摄移动对象的方法，包括：
联合标定模块，基于监控区域将一激光雷达与一球台装置驱动的相机进行联合标定；
预测位置模块，基于待拍摄移动对象的历史移动轨迹，预测未来时间点时所述待拍摄移动对象的各个预测位置以及对应的所述相机的光轴位置；
预测光轴模块，基于所述相机旋转的旋转所需时长和所述待拍摄移动对象到达预测位置的时长自所述预测位置中获得目标位置，将所述相机旋转到一可提前就位的目标位置对应的所述光轴位置；
图像拍摄模块，当所述激光雷达检测到所述待拍摄移动对象到达的所述目标位置时，所述相机拍摄所述待拍摄移动对象的图像。
9.一种基于球台拍摄移动对象的设备，其特征在于，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行权利要求1至7中任意一项所述基于球台拍摄移动对象的方法的步骤。
10.一种计算机可读存储介质，用于存储程序，其特征在于，程序被处理器执行时实现权利要求1至7中任意一项所述基于球台拍摄移动对象的方法的步骤。
CN202111017327.6A 2021-08-31 2021-08-31 基于球台拍摄移动对象的方法、系统、设备及存储介质 Active CN113724338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111017327.6A CN113724338B (zh) 2021-08-31 2021-08-31 基于球台拍摄移动对象的方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111017327.6A CN113724338B (zh) 2021-08-31 2021-08-31 基于球台拍摄移动对象的方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113724338A true CN113724338A (zh) 2021-11-30
CN113724338B CN113724338B (zh) 2024-05-03

Family

ID=78680248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111017327.6A Active CN113724338B (zh) 2021-08-31 2021-08-31 基于球台拍摄移动对象的方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113724338B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006298208A (ja) * 2005-04-21 2006-11-02 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
US20160027299A1 (en) * 2014-07-28 2016-01-28 Econolite Group, Inc. Self-configuring traffic signal controller
CN109660721A (zh) * 2018-12-14 2019-04-19 上海扩博智能技术有限公司 无人机飞行拍摄质量优化方法、系统、设备及存储介质
CN110248097A (zh) * 2019-06-28 2019-09-17 Oppo广东移动通信有限公司 追焦方法、装置、终端设备、计算机可读存储介质
CN110505408A (zh) * 2019-09-12 2019-11-26 深圳传音控股股份有限公司 终端拍摄方法、装置、移动终端及可读存储介质
KR20200023974A (ko) * 2018-08-27 2020-03-06 국방과학연구소 회전형 라이다와 다중 카메라간의 센서 동기화 방법 및 그 장치
CN111127563A (zh) * 2019-12-18 2020-05-08 北京万集科技股份有限公司 联合标定方法、装置、电子设备及存储介质
CN113160328A (zh) * 2021-04-09 2021-07-23 上海智蕙林医疗科技有限公司 一种外参标定方法、系统、机器人和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006298208A (ja) * 2005-04-21 2006-11-02 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
US20160027299A1 (en) * 2014-07-28 2016-01-28 Econolite Group, Inc. Self-configuring traffic signal controller
US20160027300A1 (en) * 2014-07-28 2016-01-28 Econolite Group, Inc. Self-configuring traffic signal controller
KR20200023974A (ko) * 2018-08-27 2020-03-06 국방과학연구소 회전형 라이다와 다중 카메라간의 센서 동기화 방법 및 그 장치
CN109660721A (zh) * 2018-12-14 2019-04-19 上海扩博智能技术有限公司 无人机飞行拍摄质量优化方法、系统、设备及存储介质
CN110248097A (zh) * 2019-06-28 2019-09-17 Oppo广东移动通信有限公司 追焦方法、装置、终端设备、计算机可读存储介质
CN110505408A (zh) * 2019-09-12 2019-11-26 深圳传音控股股份有限公司 终端拍摄方法、装置、移动终端及可读存储介质
CN111127563A (zh) * 2019-12-18 2020-05-08 北京万集科技股份有限公司 联合标定方法、装置、电子设备及存储介质
CN113160328A (zh) * 2021-04-09 2021-07-23 上海智蕙林医疗科技有限公司 一种外参标定方法、系统、机器人和存储介质

Also Published As

Publication number Publication date
CN113724338B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
JP2019532268A (ja) プロペラの羽根に統合された撮像装置を用いたステレオ距離情報の判定
CN111222395A (zh) 目标检测方法、装置与电子设备
CN106740841A (zh) 基于动态控制的车道线检测方法、装置及车载设备
US20220375208A1 (en) Annotation cross-labeling for autonomous control systems
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
WO2021096629A1 (en) Geometry-aware instance segmentation in stereo image capture processes
US10999524B1 (en) Temporal high dynamic range imaging using time-of-flight cameras
CN112602319B (zh) 一种对焦装置、方法及相关设备
CN111583307A (zh) 运动目标实时检测跟踪系统及方法
CN114463372A (zh) 车辆识别方法、装置、终端设备及计算机可读存储介质
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN111832345A (zh) 集装箱监控方法、装置及设备、存储介质
CN113408454A (zh) 一种交通目标检测方法、装置、电子设备及检测系统
CN113724338B (zh) 基于球台拍摄移动对象的方法、系统、设备及存储介质
CN111739332B (zh) 一种停车场管理系统
CN111225182B (zh) 图像采集设备、方法及装置
WO2023197841A1 (zh) 一种对焦方法、摄像装置、无人机和存储介质
CN116778143A (zh) 鱼眼图像的目标检测方法及装置
CN112136312A (zh) 一种获取目标距离的方法、控制装置及移动平台
EP3349201B1 (en) Parking assist method and vehicle parking assist system
CN112291478B (zh) 一种高空抛坠物的监测方法、装置、设备及存储介质
WO2018008834A1 (ko) 차량용 카메라 제어 장치 및 방법
CN113326715B (zh) 一种目标关联方法及装置
Wang et al. Pixel invisibility: Detecting objects invisible in color images
CN113959398B (zh) 基于视觉的测距方法、装置、可行驶设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant