CN115334249B - 基于运动重心的跟焦方法、存储介质及摄像系统 - Google Patents
基于运动重心的跟焦方法、存储介质及摄像系统 Download PDFInfo
- Publication number
- CN115334249B CN115334249B CN202211267405.2A CN202211267405A CN115334249B CN 115334249 B CN115334249 B CN 115334249B CN 202211267405 A CN202211267405 A CN 202211267405A CN 115334249 B CN115334249 B CN 115334249B
- Authority
- CN
- China
- Prior art keywords
- motion
- center
- image
- gravity
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000005484 gravity Effects 0.000 claims abstract description 94
- 230000008859 change Effects 0.000 claims description 12
- 210000003128 head Anatomy 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 210000001015 abdomen Anatomy 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 241001465754 Metazoa Species 0.000 description 7
- 241000282326 Felis catus Species 0.000 description 6
- 230000036544 posture Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241000282330 Procyon lotor Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Abstract
本发明基于运动重心的跟焦方法、存储介质及摄像系统，一种基于运动重心的跟焦方法，其特征在于，包括，步骤S1，获取初始时间段内摄像头拍摄的视频数据；步骤S2，获取初始时间段内只有活体对象的视频数据；步骤S3，根据运动重心库从只有活体对象的视频数据中获取运动重心图像；步骤S4，计算初始时间段内运动重心图像的初始运动方向与初始运动速度；本发明能够拍摄到清晰的图像数据，实现对活体对象实时的、清晰的跟焦。本发明根据运动重心跟焦的方法大大减少了计算量，而且本发明将复杂的数据简单化求解出活体对象的运动重心，能够实现在较差的硬件条件下实现基于运动重心的跟焦，能够达到低成本、大批量生产硬件的要求。
Description
技术领域
本发明属于宠物摄影技术领域，涉及运动物体摄影跟焦技术，具体涉及基于运动重心的跟焦方法、存储介质及摄像系统。
背景技术
摄影摄像的关键技术之一是能准确对焦到被拍摄的目标上。如果目标是运动的，则需要在拍摄的过程中对运动目标保持跟随状态，即跟焦。运动对象的拍摄通常对摄影师的跟焦水平要求较高。基于该需求，自动跟焦技术被发展并在不少场景中被应用。
对于运动物体的跟焦拍摄，通常采用两种做法。一种是对相机获取的图像进行目标识别提取，并计算对象的位置进行反馈式跟焦调节；一种是对特定轨迹的目标，根据预设轨迹进行跟焦的主动调节控制。
但应用于动物、宠物等活体对象时，目标提取识别进行反馈式跟焦调节的方案存在以下不足：
（1）反馈式跟焦调节需要摄像系统具有较强的图像识别运算能力以及调焦响应速度，且在对象运动速度较高或者对跟焦要求较高时难以满足要求；
（2）动物宠物等活体本身作为目标时其形态是非固定的（动物不同的姿态如蹲、站、跑、跳、蜷缩等作为图片对象时差异较大），且呈变化类型多、变化速度快的特点，这将给目标识别过程本身带来较大的难度。
发明内容
为解决上述现有技术问题，本发明提供一种基于运动重心的跟焦方法、存储介质及摄像系统。
为了实现上述目的，本发明采用的技术方案是：
提供一种基于运动重心的跟焦方法，其特征在于，包括，
步骤S1，获取初始时间段内摄像头拍摄的视频数据；
步骤S2，获取初始时间段内只有活体对象的视频数据；
步骤S3，根据运动重心库从只有活体对象的视频数据中获取运动重心图像；
步骤S4，计算初始时间段内运动重心图像的初始运动方向与初始运动速度；
步骤S5，根据步骤S4中的数据计算活体对象的运动轨迹；
步骤S6，计算活体对象的运动轨迹与跟焦的对应函数关系。
优选的，步骤S3中，
步骤S31，建立运动重心库；
步骤S32，获取活体对象离开地面且只受重力的原始数据，所述原始数据具有视频数据和图像数据；
步骤S33，获取原始数据中只有活体对象的参考视频图像；
步骤S34，从参考视频图像中获取活体对象在第一时刻的局部身体的相对速度；
步骤S35，将第一时刻局部身体在水平方向上的相对速度进行拟合，计算得到活体对象在水平方向上的平均速度；
步骤S36，获取参考视频图像中与平均速度相同的二维图像块，所述二维图像块所在的坐标为运动重心图像的坐标；
步骤S37，将所述二维图像块保存到运动重心库中。
优选的，活体对象在水平方向上的平均速度为，
其中，所述局部身体具有头、眼睛、前爪、后爪；
其中，v1，v2，……，vm分别为第一时刻各所述局部身体在水平方向的速度，m为大于1的整数；
其中，F（）为平均速度的拟合函数。
优选的，步骤S3中，
将只有活体对象的视频数据中的每一帧图像划分为运动重心区域与非运动重心区域；
根据运动重心库从运动重心区域中获取运动重心图像；
其中，运动重心区域具有活体对象的背部图像与腹部图像，非运动重心区域具有活体对象的头部图像、腿部图像与尾部图像。
优选的，
将只有活体对象的视频数据中的每一帧图像划分为3*3的九格区域，运动重心区域位于九格区域的第二列第二排。
优选的，步骤S4中，
初始移动方向具有平面移动方向与深度移动方向；
其中，所述平面移动方向为活体对象在拍摄的二维图像上的运动方向，深度移动方向为活体对象在垂直于拍摄的二维平面的方向上的运动方向。
优选的，初始移动速度具有平面移动速度与深度移动速度；
其中，所述平面移动速度为活体对象在拍摄的二维图像上的运动速度，所述深度移动速度为活体对象在拍摄的垂直于二维平面方向上的运动速度；
初始移动速度为平面移动速度与深度移动速度的和速度。
优选的，计算在初始时间段内的运动重心图像尺寸变化的比例，计算出活体对象的深度移动速度的方向；且，
若初始时间段内运动重心图像尺寸变大，则表示活体对象在靠近摄像头的方向运动；
若初始时间段内运动重心图像尺寸不变，则表示活体对象与摄像头的距离不变；
若初始时间段内运动重心图像尺寸变小，则表示活体对象在远离摄像头的方向运动。
优选的，
计算在初始时间段内的运动重心图像中毛发斑点形状的变化计算出活体对象的深度移动速度的方向。
优选的，步骤S6中，
活体对象的运动重心图像的坐标与拍摄的二维图像宽边的距离<D/7时图像，调整摄像头的方向，所述D为拍摄得到的二维图像的长边的长度；
活体对象的运动重心图像的坐标与拍摄的二维图像长边的距离<F/7时，调整摄像头的方向度，所述F为拍摄得到的二维图像的宽边的长度的长度，长边的长度不低于宽边的长度。
一种可读存储介质，其特征在于，包括，
可执行程序，所述可执行程序可执行一种基于运动重心的跟焦方法。
一种基于运动重心的摄像系统，其特征在于，包括，
成像模块；
存储模块；
处理模块；
其中，所述成像模块用于获取图像信息；
其中，所述存储模块用于存储图像信息与可执行程序；
其中，所述处理模块运行所述可执行程序时可执行所述的一种基于运动重心的跟焦方法。
本发明的有益效果体现在，提供一种基于运动重心的跟焦方法、存储介质及摄像系统。本发明根据运动重心的跟焦方法大大减少了计算量，而且本发明将复杂的数据简单化求解出活体对象的参考运动重心，能够实现在较差的硬件条件下实现基于运动重心的跟焦，能够达到低成本、大批量生产硬件的要求。
附图说明
图1为一种基于运动重心的跟焦方法流程图；
图2为一种建立运动重心库的流程图；
图3为一种活体对象示意图；
图4为一种运动重心图像示意图；
图5为一种拍摄画面示意图；
图6为一种摄像系统框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图6所示，本发明提供的具体实施例如下：
实施例1：
一种基于运动重心的跟焦方法，其特征在于，包括，
步骤S1，获取初始时间段内摄像头拍摄的视频数据；
步骤S2，获取初始时间段内只有活体对象的视频数据；
步骤S3，根据运动重心库从只有活体对象的视频数据中获取运动重心图像；
步骤S4，计算初始时间段内运动重心图像的初始运动方向与初始运动速度；
步骤S5，根据步骤S4中的数据计算活体对象的运动轨迹；
步骤S6，计算活体对象的运动轨迹与跟焦的对应函数关系。
随着互联网的不断发展，大量的宠物爱好者分享自己的宠物信息，包括视频、图片、语言文字等，短视频传播信息的速度非常块，传播范围也非常广，逐渐宠物信息已经占据了短视频的大部分内容，特别是自己养宠物的用户更希望观看到自己家的宠物的视频、图片等，为此提供一种拍摄家养宠物的设备是非常有意义的。
安装在家里的摄像头拍摄时，往往遇到一个自动跟焦的问题，当拍摄运动的物体时，为了保证拍摄对象的清晰度，需要及时对运动的物体进行调焦，现有技术中，跟焦分为两种方式，人为跟焦与自动跟焦。大师级别的摄影师根据运动的对象任意调焦，可达到较好的拍摄效果，但是大师级别的摄影师数量有限，该方法成本太高。
一种自动跟焦方式是反馈式跟焦，反馈式跟焦需要先识别出运动对象，然后定位运动对象与镜头的距离，从而再进行调焦动作，该方法需要摄像头具有较强的运算能力来实现复杂的图像处理工作，这对于实时性要求较高的视频数据处理具有非常大的挑战，而且该方法对于高速运动的活体对象调焦更是难以实现。另一种自动跟焦方式是在固定运动轨迹下进行调焦，可根据已知的运动轨迹预先设置调焦，达到自动调焦的效果，但该方法准确调焦的前提是预先知道运动轨迹，而宠物等活体对象是进行无规律运动，不能提前知道其运动轨迹，故自动跟焦该方法并不能准确跟焦活体对象，因而很难拍摄出活体对象清晰的运动视频。
当活体对象快速移动时（活体对象为家养宠物、动物等活物），有很大的概率是局部身体移动，比如宠物的头部不动而身子移动；或者宠物的身子不动而头部移动，在这种类似的情况下，相机会自动调节一个焦距，但是由于宠物的运动是没有规律的，相机大概率会出现调节焦距过大的情况，导致拍出来的视频出现难以接受的抖动现象，而且图像画面是模糊不清的，非常影响整体原始数据的质量，给用户极差的体验感。
在本实施例中，如图1所示，提出一种基于运动重心的跟焦方法，其特征在于，包括，步骤S1，获取初始时间段内摄像头拍摄的视频数据；步骤S2，获取初始时间段内只有活体对象的视频数据；步骤S3，根据运动重心库从只有活体对象的视频数据中获取运动重心图像；步骤S4，计算初始时间段内运动重心图像的初始运动方向与初始运动速度；步骤S5，根据步骤S4中的数据计算活体对象的运动轨迹；步骤S6，计算活体对象的运动轨迹与跟焦的对应函数关系。本发明提出一种基于运动重心的跟焦方法，获取活体对象起跳的一小段视频数据，通过运动重心图像计算出该时间段内的初始运动方向与初始运动速度，并根据计算出的初始运动方向与初始运动速度计算出活体对象的运动轨迹，从而根据计算出的运动轨迹进行调焦，运动轨迹与调焦为一一对应的关系。本发明实现了对活体对象实时的跟焦，能够拍摄到清晰的图像数据。
实施例2：
步骤S3中，
步骤S31，建立运动重心库；
步骤S32，获取活体对象离开地面且只受重力的原始数据，所述原始数据具有视频数据和图像数据；
步骤S33，获取原始数据中只有活体对象的参考视频图像；
步骤S34，从参考视频图像中获取活体对象在第一时刻的局部身体的相对速度；
步骤S35，将第一时刻局部身体在水平方向上的相对速度进行拟合，计算得到活体对象在水平方向上的平均速度；
步骤S36，获取参考视频图像中与平均速度相同的二维图像块，所述二维图像块所在的坐标为运动重心图像的坐标；
步骤S37，将所述二维图像块保存到运动重心库中。
由于宠物等活体对象（如猫/狗等动物）运动时，其作为整体对象，运动方式单一，特别是跳跃离地运动时，对象仅仅受到重力作用，此时无论其姿态如何变化，重心均遵循单一受力的简单运动方式。因此，如果能够识别并准确获取到对象的唯一重心，再将重心坐标应用于对该对象的跟焦运动拍摄，将是此类对象运动拍摄影片质量的关键技术之一，尤其对于拍摄跳跃等离地运动行为可实现轨迹精准预判的跟焦拍摄。
在本实施例中，如图2所示，步骤S3中，步骤S31，建立运动重心库；步骤S32，获取活体对象离开地面且只受重力的原始数据，所述原始数据具有视频数据和图像数据；步骤S33，获取原始数据中只有活体对象的参考视频图像；步骤S34，从参考视频图像中获取活体对象在第一时刻的局部身体的相对速度；步骤S35，将第一时刻局部身体在水平方向上的相对速度进行拟合，计算得到活体对象在水平方向上的平均速度；步骤S36，获取参考视频图像中与平均速度相同的二维图像块，所述二维图像块所在的坐标为运动重心图像的坐标；
由于用户家里的宠物数量有限，一般为1-2只，而且宠物对象相对固定，通过学习并存储该活体对象的运动重心图像，然后对该对象进行跟踪拍摄，从其日常运动轨迹中计算出其运动重心。
在不同时刻、不同状态下，于活体对象姿态不同与体型不同，其实际运动重心的位置都有变化，本发明通过构建运动重心库将用户家里的宠物多种状态下的运动重心图像保存起来，相对于反馈式自动跟焦，本发明基于运动重心的跟焦方法，计算出的运动轨迹与活体对象的实际运动轨迹接近，相机按照本发明基于运动重心的跟焦方法拍摄到的画面清晰，不会出现模糊、抖动等情况。本发明大大减少了计算量，而且本发明将复杂的数据简单化，计算出活体对象接近真实重心位置的运动重心，能够实现在较差的硬件条件下实现接近真实重心位置的运动重心识别，能够达到低成本、大批量生产硬件的要求。
实施例3：
活体对象在水平方向上的平均速度为，
其中，所述局部身体具有头、眼睛、前爪、后爪；
其中，v1，v2，……，vm分别为第一时刻各所述局部身体在水平方向的速度，m为大于1的整数；
其中，F（）为平均速度的拟合函数。
当活体对象跳跃离开地面时，对象只受到重力作用，对象的重心唯一，可以根据对象的运动轨迹唯一，计算对象唯一的运动重心轨迹，以此来确定调节相机的焦距，可以避免出现画面抖动的现象。由于活体对象在水平方向上不受力，故在水平方向上对象的动量守恒。
在本实施例中，通过计算第一时刻局部身体在水平方向上的相对速度进行拟合，计算得到活体对象在水平方向上的平均速度，根据水平方向动量守恒，通过拟合函数拟合出活体对象在水平方向上的平均速度V，而活体对象在水平方向上的平均速度V就是该活体对象重心在水平方向的速度。在一种实施例中，活体对象为猫，v1表示某一时刻猫前爪的水平速度，v2表示某一时刻猫后爪的水平速度，v3表示某一时刻猫头部的水平速度。
实施例4：
步骤S3中，
将只有活体对象的视频数据中的每一帧图像划分为运动重心区域与非运动重心区域；
根据运动重心库从运动重心区域中获取运动重心图像；
其中，运动重心区域具有活体对象的背部图像与腹部图像，非运动重心区域具有活体对象的头部图像、腿部图像与尾部图像。
将只有活体对象的视频数据中的每一帧图像划分为3*3的九格区域，运动重心区域位于九格区域的第二列第二排。
由于家养宠物的品种繁多，但是大多数宠物外表毛发具有相似性，比如狸花猫的斑纹不容易识别，在运动重心识别时容易出现误检，导致跟焦失败。
在本实施例中，如图3所示，将只有活体对象的视频数据中的每一帧图像划分为运动重心区域与非运动重心区域；根据运动重心库从运动重心区域中获取运动重心图像；其中，运动重心区域具有活体对象的背部图像与腹部图像，非运动重心区域具有活体对象的头部图像、腿部图像与尾部图像。优选的，将只有活体对象的视频数据中的每一帧图像划分为3*3的九格区域，运动重心区域位于九格区域的第二列第二排A。本发明将只有活体对象的视频数据进行区域划分，然后在运动重心区域内在获取运动重心图像，大大减小了运动重心的误检率，从而使得本发明能够拍摄到清晰的图像数据，实现对活体对象的实时跟焦。
实施例5：
步骤S4中，
初始移动方向具有平面移动方向与深度移动方向；
其中，所述平面移动方向为活体对象在拍摄的二维图像上的运动方向，深度移动方向为活体对象在垂直于拍摄的二维平面的方向上的运动方向。
初始移动速度具有平面移动速度与深度移动速度；
其中，所述平面移动速度为活体对象在拍摄的二维图像上的运动速度，所述深度移动速度为活体对象在拍摄的垂直于二维平面方向上的运动速度；
初始移动速度为平面移动速度与深度移动速度的和速度。
由于摄像头拍摄到的图像是二位画面，从图像中能够直接获取平面移动方向，但是活体对象的深度移动方向不能直接获取，跟焦时焦距的调节就是根据活体对象与摄像头之间的距离来确定的，为此提出一种可以实时监测活体对象与摄像头距离的方法是非常有价值的。
在本实施例中，步骤S4中，初始移动方向具有平面移动方向与深度移动方向；其中，所述平面移动方向为活体对象在拍摄的二维图像上的运动方向，深度移动方向为活体对象在垂直于拍摄的二维平面的方向上的运动方向。初始移动速度具有平面移动速度与深度移动速度；其中，所述平面移动速度为活体对象在拍摄的二维图像上的运动速度，所述深度移动速度为活体对象在拍摄的垂直于二维平面方向上的运动速度；初始移动速度为平面移动速度与深度移动速度的和速度。本发明通过初始移动方向与初始移动速度计算活体对象的运动轨迹，初始移动速度为平面移动速度与深度移动速度的和速度，通过结合平面移动速度与深度移动速度来确定活体对象的运动轨迹，本发明根据计算出来的运动轨迹进行跟焦拍摄的画面清晰，而且使活体对象始终保持在焦平面上。
实施例6：
计算在初始时间段内的运动重心图像尺寸变化的比例，计算出活体对象的深度移动速度的方向；且，
若初始时间段内运动重心图像尺寸变大，则表示活体对象在靠近摄像头的方向运动；
若初始时间段内运动重心图像尺寸不变，则表示活体对象与摄像头的距离不变；
若初始时间段内运动重心图像尺寸变小，则表示活体对象在远离摄像头的方向运动。
在本实施例中，由于活体对象距离摄像头的距离不同，相同姿态、相同视角下拍摄到活体对象的尺寸大小不同，根据这个成像原理，本发明通过计算在初始时间段内的运动重心图像尺寸变化的比例，计算出活体对象的深度移动速度的方向；且，若初始时间段内运动重心图像尺寸变大，则表示活体对象在靠近摄像头的方向运动；若初始时间段内运动重心图像尺寸不变，则表示活体对象与摄像头的距离不变；若初始时间段内运动重心图像尺寸变小，则表示活体对象在远离摄像头的方向运动。判断了活体对象在深度方向上的运动方向，本发明根据初始时间段内运动重心图像尺寸变化的比例计算出活体对象在深度方向上的运动速度，从而计算出活体对象的初始移动速度。
实施例7：
计算在初始时间段内的运动重心图像中毛发斑点形状的变化计算出活体对象的深度移动速度的方向。
由于活体对象是运动的，其姿态变化多端，从不同角度拍摄活体对象，相同的毛发斑点在二维图像上呈现不同的特点，如图4所示，其中(a)表示正对拍摄活体对象斑点的形状，(b)与(c)表示活体动物在水平方向与深度方向上运动后的拍摄斑点的形状，(d)、(e)与(f)表示活体动物在竖直方向与深度方向上运动后的拍摄斑点的形状，例如正对拍摄到一个黑色圆斑点，当活体对象的运动方向发生改变时，拍摄到一个黑色圆斑点可能变成椭圆形。而且椭圆的长轴不同对应不同的移动方向，在本实施例中，通过计算在初始时间段内的运动重心图像中毛发斑点形状的变化计算出活体对象的深度移动速度的方向，从而计算出活体对象的初始移动速度。
实施例8：
步骤S6中，
活体对象的运动重心图像的坐标与拍摄的二维图像宽边的距离<D/7时图像，调整摄像头的方向，所述D为拍摄得到的二维图像的长边的长度；
活体对象的运动重心图像的坐标与拍摄的二维图像长边的距离<F/7时，调整摄像头的方向度，所述F为拍摄得到的二维图像的宽边的长度的长度，长边的长度不低于宽边的长度。
由于镜头的边缘部分和中心部分的放大倍率不一样导致畸变，畸变一般出现在画面的边缘处，畸变会改变物体的成像形状，从而影响活体对象的运动重心图像的准确获取，有很大的概率导致跟焦失败。另一方面，活体对象在拍摄画面的边缘时，有很大的概率会跳出拍摄画面，导致跟焦失败。
在本实施例中，如图5所示，实线边框2为拍摄画面边框，虚线边框1为预设未失真区域边框。步骤S6中，活体对象的运动重心图像的坐标与拍摄的二维图像宽边的距离<1/7D时图像，调整摄像头的方向，所述D为拍摄得到的二维图像的长边的长度；活体对象的运动重心图像的坐标与拍摄的二维图像长边的距离<1/7F时，调整摄像头的方向度，所述F为拍摄得到的二维图像的宽边的长度的长度，长边的长度不低于宽边的长度。本发明通过检测活体对象是否在拍摄画面的边缘，如果在拍摄画面边缘时，调节像头的方向使得活体对象处于画面的非边缘区域，从而保证拍摄画面的真实性以及持续跟焦。
实施例9：
一种可读存储介质，其特征在于，包括，
可执行程序，所述可执行程序可执行一种基于运动重心的跟焦方法。
一种基于运动重心的摄像系统，其特征在于，包括，
成像模块；
存储模块；
处理模块；
其中，所述成像模块用于获取图像信息；
其中，所述存储模块用于存储图像信息与可执行程序；
其中，所述处理模块运行所述可执行程序时可执行所述的一种基于运动重心的跟焦方法。
在本实施例中，如图6所示，一种基于运动重心的摄像系统，其特征在于，包括，成像模块；存储模块；处理模块；其中，所述成像模块用于获取图像信息；其中，所述存储模块用于存储图像信息与所述的一种基于运动重心的跟焦系统；其中，所述处理模块可执行所述的一种基于运动重心的跟焦系统。处理模块可接收云端运动重心库的信号，并将本地的视频数据发送到云端，在一种实施例中，具有电源，电源用于给摄像提供电源。
在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系。
在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的实施例的描述中，需要理解的是，“-”和“~”表示的是两个数值之同的范围，并且该范围包括端点。例如:“A-B”表示大于或等于A，且小于或等于B的范围。“A~B''表示大于或等于A，且小于或等于B的范围。
在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (11)
1.一种基于运动重心的跟焦方法，其特征在于，包括，
步骤S1，获取初始时间段内摄像头拍摄的视频数据；
步骤S2，获取初始时间段内只有活体对象的视频数据；
步骤S3，根据运动重心库从只有活体对象的视频数据中获取运动重心图像；
步骤S4，计算初始时间段内运动重心图像的初始运动方向与初始运动速度；
步骤S5，根据步骤S4中的数据计算活体对象的运动轨迹；
步骤S6，计算活体对象的运动轨迹与跟焦的对应函数关系；
步骤S3中，
步骤S31，建立运动重心库；
步骤S32，获取活体对象离开地面且只受重力的原始数据，所述原始数据具有视频数据和图像数据；
步骤S33，获取原始数据中只有活体对象的参考视频图像；
步骤S34，从参考视频图像中获取活体对象在第一时刻的局部身体的相对速度；
步骤S35，将第一时刻局部身体在水平方向上的相对速度进行拟合，计算得到活体对象在水平方向上的平均速度；
步骤S36，获取参考视频图像中与平均速度相同的二维图像块，所述二维图像块所在的坐标为运动重心图像的坐标；
步骤S37，将所述二维图像块保存到运动重心库中。
2.根据权利要求1所述的一种基于运动重心的跟焦方法，其特征在于，
活体对象在水平方向上的平均速度为，
其中，所述局部身体具有头、眼睛、前爪、后爪；
其中，v1，v2，……，vm分别为第一时刻各所述局部身体在水平方向的速度，m为大于1的整数；
其中，F（）为平均速度的拟合函数。
3.根据权利要求2所述的一种基于运动重心的跟焦方法，其特征在于，
将只有活体对象的视频数据中的每一帧图像划分为运动重心区域与非运动重心区域；
根据运动重心库从运动重心区域中获取运动重心图像；
其中，运动重心区域具有活体对象的背部图像与腹部图像，非运动重心区域具有活体对象的头部图像、腿部图像与尾部图像。
4.根据权利要求3所述的一种基于运动重心的跟焦方法，其特征在于，
将只有活体对象的视频数据中的每一帧图像划分为3*3的九格区域，运动重心区域位于九格区域的第二列第二排。
5.根据权利要求4所述的一种基于运动重心的跟焦方法，其特征在于，步骤S4中，
初始移动方向具有平面移动方向与深度移动方向；
其中，所述平面移动方向为活体对象在拍摄的二维图像上的运动方向，深度移动方向为活体对象在垂直于拍摄的二维平面的方向上的运动方向。
6.根据权利要求5所述的一种基于运动重心的跟焦方法，其特征在于，
初始移动速度具有平面移动速度与深度移动速度；
其中，所述平面移动速度为活体对象在拍摄的二维图像上的运动速度，所述深度移动速度为活体对象在拍摄的垂直于二维平面方向上的运动速度；
初始移动速度为平面移动速度与深度移动速度的和速度。
7.根据权利要求6所述的一种基于运动重心的跟焦方法，其特征在于，
计算在初始时间段内的运动重心图像尺寸变化的比例，计算出活体对象的深度移动速度的方向；且，
若初始时间段内运动重心图像尺寸变大，则表示活体对象在靠近摄像头的方向运动；
若初始时间段内运动重心图像尺寸不变，则表示活体对象与摄像头的距离不变；
若初始时间段内运动重心图像尺寸变小，则表示活体对象在远离摄像头的方向运动。
8.根据权利要求6所述的一种基于运动重心的跟焦方法，其特征在于，
计算在初始时间段内的运动重心图像中毛发斑点形状的变化计算出活体对象的深度移动速度的方向。
9.根据权利要求7-8之任意一项权利要求所述的一种基于运动重心的跟焦方法，其特征在于，步骤S6中，
活体对象的运动重心图像的坐标与拍摄的二维图像宽边的距离<D/7时图像，调整摄像头的方向，所述D为拍摄得到的二维图像的长边的长度；
活体对象的运动重心图像的坐标与拍摄的二维图像长边的距离<F/7时，调整摄像头的方向度，所述F为拍摄得到的二维图像的宽边的长度的长度，长边的长度不低于宽边的长度。
10.一种可读存储介质，其特征在于，包括，
可执行程序，所述可执行程序可执行权利要求1-9之任意一项所述的一种基于运动重心的跟焦方法。
11.一种基于运动重心的摄像系统，其特征在于，包括，
成像模块；
存储模块；
处理模块；
其中，所述成像模块用于获取图像信息；
其中，所述存储模块用于存储图像信息与可执行程序；
其中，所述处理模块运行所述可执行程序时可执行权利要求1-9任意一项所述的一种基于运动重心的跟焦方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211267405.2A CN115334249B (zh) | 2022-10-17 | 2022-10-17 | 基于运动重心的跟焦方法、存储介质及摄像系统 |
| PCT/CN2023/092931 WO2024082615A1 (zh) | 2022-10-17 | 2023-05-09 | 基于运动重心的跟焦方法、存储介质及摄像系统 |
| US18/231,810 US11893749B1 (en) | 2022-10-17 | 2023-08-09 | Focus following method based on motion gravity center, storage medium and photographing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211267405.2A CN115334249B (zh) | 2022-10-17 | 2022-10-17 | 基于运动重心的跟焦方法、存储介质及摄像系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115334249A CN115334249A (zh) | 2022-11-11 |
| CN115334249B true CN115334249B (zh) | 2023-03-10 |
Family
ID=83915527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211267405.2A Active CN115334249B (zh) | 2022-10-17 | 2022-10-17 | 基于运动重心的跟焦方法、存储介质及摄像系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11893749B1 (zh) |
| CN (1) | CN115334249B (zh) |
| WO (1) | WO2024082615A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115334249B (zh) | 2022-10-17 | 2023-03-10 | 成都唐米科技有限公司 | 基于运动重心的跟焦方法、存储介质及摄像系统 |
| CN115345901B (zh) * | 2022-10-18 | 2023-01-10 | 成都唐米科技有限公司 | 一种动物运动行为预测方法、系统及摄像系统 |
| CN117714903B (zh) * | 2024-02-06 | 2024-05-03 | 成都唐米科技有限公司 | 一种基于跟拍的视频合成方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008217690A (ja) * | 2007-03-07 | 2008-09-18 | Nippon Signal Co Ltd:The | 移動体検出方法 |
| CN102547244A (zh) * | 2012-01-17 | 2012-07-04 | 深圳辉锐天眼科技有限公司 | 视频监控方法及系统 |
| CN103679171A (zh) * | 2013-09-24 | 2014-03-26 | 暨南大学 | 基于人体重心轨迹分析的步态特征提取方法 |
| CN107993256A (zh) * | 2017-11-27 | 2018-05-04 | 广东工业大学 | 动态目标跟踪方法、装置及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5625577A (en) * | 1990-12-25 | 1997-04-29 | Shukyohojin, Kongo Zen Sohonzan Shorinji | Computer-implemented motion analysis method using dynamics |
| JP5947601B2 (ja) * | 2012-04-10 | 2016-07-06 | キヤノン株式会社 | 焦点検出装置、その制御方法および撮像装置 |
| DE102012111304A1 (de) * | 2012-11-22 | 2014-05-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zur Rekonstruktion einer Bewegung eines Objekts |
| CN107045623B (zh) * | 2016-12-30 | 2020-01-21 | 厦门瑞为信息技术有限公司 | 一种基于人体姿态跟踪分析的室内危险情况告警的方法 |
| US11244459B2 (en) * | 2018-12-16 | 2022-02-08 | Masahiko Sato | Method for segmentation of grayscale images and segmented area tracking |
| US11297247B1 (en) * | 2021-05-03 | 2022-04-05 | X Development Llc | Automated camera positioning for feeding behavior monitoring |
| CN115334249B (zh) * | 2022-10-17 | 2023-03-10 | 成都唐米科技有限公司 | 基于运动重心的跟焦方法、存储介质及摄像系统 |
| CN115457666A (zh) * | 2022-10-18 | 2022-12-09 | 成都唐米科技有限公司 | 活体对象运动重心识别方法、系统及计算机可读存储介质 |
| CN115345901B (zh) * | 2022-10-18 | 2023-01-10 | 成都唐米科技有限公司 | 一种动物运动行为预测方法、系统及摄像系统 |
| CN115348392B (zh) * | 2022-10-19 | 2023-03-24 | 成都唐米科技有限公司 | 一种基于模板素材的摄像方法及系统 |
-
2022
- 2022-10-17 CN CN202211267405.2A patent/CN115334249B/zh active Active
-
2023
- 2023-05-09 WO PCT/CN2023/092931 patent/WO2024082615A1/zh unknown
- 2023-08-09 US US18/231,810 patent/US11893749B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008217690A (ja) * | 2007-03-07 | 2008-09-18 | Nippon Signal Co Ltd:The | 移動体検出方法 |
| CN102547244A (zh) * | 2012-01-17 | 2012-07-04 | 深圳辉锐天眼科技有限公司 | 视频监控方法及系统 |
| CN103679171A (zh) * | 2013-09-24 | 2014-03-26 | 暨南大学 | 基于人体重心轨迹分析的步态特征提取方法 |
| CN107993256A (zh) * | 2017-11-27 | 2018-05-04 | 广东工业大学 | 动态目标跟踪方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 移动机器人检测与跟踪系统的研究与设计;王建平等;《浙江大学学报(工学版)》;20071015(第10期);第1710-1714页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11893749B1 (en) | 2024-02-06 |
| WO2024082615A1 (zh) | 2024-04-25 |
| CN115334249A (zh) | 2022-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115334249B (zh) | 基于运动重心的跟焦方法、存储介质及摄像系统 | |
| CN109151439B (zh) | 一种基于视觉的自动追踪拍摄系统及方法 | |
| US10372970B2 (en) | Automatic scene calibration method for video analytics | |
| Liu et al. | Combined frame-and event-based detection and tracking | |
| US11509824B2 (en) | Method for tracking target in panoramic video, and panoramic camera | |
| CN103761514B (zh) | 基于广角枪机和多球机实现人脸识别的系统及方法 | |
| Xu et al. | Learning to detect video saliency with HEVC features | |
| Collins et al. | An active camera system for acquiring multi-view video | |
| US9924104B2 (en) | Background-differential extraction device and background-differential extraction method | |
| CN112055158B (zh) | 目标跟踪方法、监控设备、存储介质及系统 | |
| Chen et al. | Mimicking human camera operators | |
| CN106973221B (zh) | 基于美学评价的无人机摄像方法和系统 | |
| WO2021128747A1 (zh) | 监控方法、装置、系统、电子设备及存储介质 | |
| CN115348392B (zh) | 一种基于模板素材的摄像方法及系统 | |
| US20140009503A1 (en) | Systems and Methods for Tracking User Postures to Control Display of Panoramas | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| CN113391644B (zh) | 一种基于图像信息熵的无人机拍摄距离半自动寻优方法 | |
| CN111314609A (zh) | 一种控制云台追踪摄像的方法及装置 | |
| CN115565130A (zh) | 一种无人值守系统及其基于光流的监控方法 | |
| CN108206914A (zh) | 一种对焦方法及装置、终端 | |
| Faruqui et al. | Trackez: an iot-based 3d-object tracking from 2d pixel matrix using mez and fsl algorithm | |
| CN112189334A (zh) | 快门速度调节、安全快门标定方法、便携式设备及无人机 | |
| CN115457666A (zh) | 活体对象运动重心识别方法、系统及计算机可读存储介质 | |
| CN115345901B (zh) | 一种动物运动行为预测方法、系统及摄像系统 | |
| WO2021109409A1 (zh) | 图像拍摄方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |