CN114531549A - 图像采集方法、电子设备和计算机可读存储介质 - Google Patents

图像采集方法、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN114531549A
CN114531549A CN202210429433.3A CN202210429433A CN114531549A CN 114531549 A CN114531549 A CN 114531549A CN 202210429433 A CN202210429433 A CN 202210429433A CN 114531549 A CN114531549 A CN 114531549A
Authority
CN
China
Prior art keywords
target
frame
video
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210429433.3A
Other languages
English (en)
Other versions
CN114531549B (zh
Inventor
毛礼建
张鎏锟
熊剑平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210429433.3A priority Critical patent/CN114531549B/zh
Publication of CN114531549A publication Critical patent/CN114531549A/zh
Application granted granted Critical
Publication of CN114531549B publication Critical patent/CN114531549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像采集方法、电子设备和计算机可读存储介质，该图像采集方法包括：获得由摄像装置针对待检测对象的目标部位采集的视频数据；确定视频数据中目标帧相对于参照帧的变换矩阵；目标帧为视频数据中的任意视频帧，参照帧包括视频数据中采集时刻早于目标帧的视频帧；基于变换矩阵确定摄像装置的抖动程度；响应于抖动程度符合预设抖动条件，从目标帧的关联视频帧中确定出针对目标部位采集的目标图像/视频帧；关联视频帧包括目标帧和/或采集时刻晚于目标帧的视频帧中的至少一个视频帧。上述方案，能够提高图像采集的精度和清晰度。

Description

图像采集方法、电子设备和计算机可读存储介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种图像采集方法、电子设备和计算机可读存储介质。
背景技术
随着摄像装置得到了广泛应用，在不同的应用场景中需要采集视频数据和/或图像数据，现有技术中，当需要采集图像时通常需要用户手动触发按键才能完成图像采集，但是，在部分对图像采集的精度和清晰度极高的场景中，由于用户的人工操作会导致摄像装置发生抖动，从而导致图像采集的精度和清晰度大打折扣。有鉴于此，如何提高图像采集的精度和清晰度成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种图像采集方法、电子设备和计算机可读存储介质，能够提高图像采集的精度和清晰度。
为解决上述技术问题，本申请第一方面提供一种图像采集方法，该方法包括：获得由摄像装置针对待检测对象的目标部位采集的视频数据；确定所述视频数据中目标帧相对于参照帧的变换矩阵；所述目标帧为所述视频数据中的任意视频帧，所述参照帧包括所述视频数据中采集时刻早于所述目标帧的视频帧；基于所述变换矩阵确定所述摄像装置的抖动程度；响应于所述抖动程度符合预设抖动条件，从所述目标帧的关联视频帧中确定出针对所述目标部位采集的目标图像/视频帧；所述关联视频帧包括所述目标帧和/或采集时刻晚于所述目标帧的视频帧中的至少一个视频帧。
为解决上述技术问题，本申请第二方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面所述的方法。
为解决上述技术问题，本申请第三方面提供一种计算机存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面所述的方法。
上述方案，获得由摄像装置针对待检测对象的目标部位采集的视频数据后，从视频数据中得到目标帧并确定目标帧相对参照帧的变换矩阵，其中，参照帧包括视频数据中采集时刻早于目标帧的视频帧，也就是基于目标帧以及与目标帧间隔一段时间的参照帧，确定目标帧相对参照帧的变化，基于变换矩阵确定摄像装置的抖动程度，当抖动程度符合预设抖动条件时，从目标帧中的关联视频帧中确定针对目标部位采集的目标图像/视频帧，因此，当抖动程度符合预设抖动条件时能够无需用户手动采集针对目标部位的目标图像/视频帧，降低因人工操作导致摄像装置发生抖动的概率，提高图像采集的精度和清晰度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请图像采集方法一实施方式的流程示意图；
图2是本申请图像采集方法另一实施方式的流程示意图；
图3是本申请图像采集系统一实施方式的结构示意图；
图4是本申请电子设备一实施方式的结构示意图；
图5是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像采集方法一实施方式的流程示意图，该方法包括：
S101：获得由摄像装置针对待检测对象的目标部位采集的视频数据。
具体地，摄像装置用于采集待检测对象对应的视频数据，当摄像装置到达待检测对应的目标部位时，则摄像装置采集有目标部位的视频数据，当摄像装置上传视频数据即可获得摄像装置采集的针对待检测对象的目标部位的视频数据。
在一应用方式中，摄像装置实时采集针对待检测对象的目标部位的视频数据，从而获得摄像装置实时采集的针对待检测对象的目标部位采集的视频数据。
在另一应用方式中，摄像装置采集针对待检测对象的目标部位的视频数据并缓存，将缓存的视频数据上传至处理系统，从而获得摄像装置采集的针对待检测对象的目标部位采集的视频数据。
在一应用场景中，摄像装置包括可进入待检测对象的体内的摄像模组，从而采集待检测对象对应的视频数据，其中，待检测对象可为人或其他动物，目标部位包括待检测对象外表不可见的部位或组织，当摄像模组在待检测对象的体内采集到目标部位对应的视频数据时，即可获得由摄像装置针对待检测对象的目标部位采集的视频数据。
S102：确定视频数据中目标帧相对于参照帧的变换矩阵，其中，目标帧为视频数据中的任意视频帧，参照帧包括视频数据中采集时刻早于目标帧的视频帧。
具体地，目标帧可为视频数据中的任意一个视频帧，参照帧为视频数据中采集时间早于目标帧的视频帧，也就是说，目标帧与参照帧之间存在时间间隔，将目标帧与参照帧进行比对，从而得到目标帧相对于参照帧的变换矩阵。
在一应用方式中，将视频数据的当前帧作为目标帧，获取目标帧之前预设时间间隔的视频帧作为参照帧，利用比对算法对目标帧和参照帧进行比对，确定视频数据中目标帧相对于参照帧的变换矩阵。
在另一应用方式中，从缓存的视频数据中提取任一视频帧作为目标帧，获取目标帧之前预设帧数间隔的视频帧作为参照帧，利用比对算法对目标帧和参照帧进行比对，确定视频数据中目标帧相对于参照帧的变换矩阵。
在一应用场景中，比对算法集成于预先训练过的模型中，将目标帧和参照帧输入模型中，以使模型输出视频数据中目标帧相对于参照帧的变换矩阵。
S103：基于变换矩阵确定摄像装置的抖动程度。
具体地，变换矩阵用于反馈目标帧相对参照帧的变化程度，也就是间隔一定时间的两个视频帧之间的变化程度，当摄像装置在该时间间隔内未发生明显运动，则两个视频帧之间只有较小的变化，当摄像装置在该时间间隔内发生明显运动，则两个视频帧之间具有较明显的变化，从而基于变换矩阵即可确定摄像装置的抖动程度。
在一应用方式中，基于变换矩阵和恒等矩阵，确定变换矩阵与恒等矩阵之间的差值，其中，目标帧乘以恒等矩阵后仍未目标帧，将变换矩阵与恒等矩阵作差后即可获得目标帧相对参照帧的变化程度，从而确定摄像装置的抖动程度。
S104：响应于抖动程度符合预设抖动条件，从目标帧的关联视频帧中确定出针对目标部位采集的目标图像/视频帧，其中，关联视频帧包括目标帧和/或采集时刻晚于目标帧的视频帧中的至少一个视频帧。
具体地，当摄像装置的抖动程度符合预设抖动条件时，获得目标帧的关联视频帧，从目标视频帧的关联视频帧中确定出针对目标部位采集的目标图像或者目标视频帧。
在一应用方式中，响应于抖动程度符合预设抖动条件，将目标帧作为针对目标部位采集的目标图像/视频帧，提高获取目标图像/视频帧的效率。
在另一应用方式中，响应于抖动程度符合预设抖动条件，将目标帧之后的采集时间晚于目标帧的至少一个视频帧作为目标帧的关联视频帧，对关联视频帧进行清晰度分析得到关联视频帧的清晰度评分，从而选择清晰度评分最高的关联视频帧作为针对目标部位采集的目标图像/视频帧。
在又一应用方式中，响应于抖动程度符合预设抖动条件，将目标帧和目标帧之后的采集时间晚于目标帧的至少一个视频帧作为目标帧的关联视频帧，对关联视频帧进行清晰度分析得到关联视频帧的清晰度评分，从而选择清晰度评分最高的关联视频帧作为针对目标部位采集的目标图像/视频帧。
可以理解的是，当摄像装置的抖动程度符合预设抖动条件时，即可自动触发获取目标帧的关联视频帧的步骤，从而在关联视频帧中选择清晰度较高的关联视频帧作为目标图像，而无需用户在需要对目标部位进行图像采集时人工操作，降低因人工操作导致摄像装置发生抖动的概率。
在一应用场景中，当摄像装置的抖动程度符合预设抖动条件时，获取目标帧之后多个连续的视频帧，将目标帧及其之后获取的多个连续的视频帧作为关联视频帧，以使关联视频帧中至少包括采集有目标部位的目标帧，降低因摄像装置的位置变化，导致目标帧的采集时间之后的视频帧不包括目标部位的概率，利用质量评分模型对关联视频帧进行清晰度评分，将评分最高的关联视频帧作为目标图像/视频帧，其中，视频帧即为一张图像。
上述方案，获得由摄像装置针对待检测对象的目标部位采集的视频数据后，从视频数据中得到目标帧并确定目标帧相对参照帧的变换矩阵，其中，参照帧包括视频数据中采集时刻早于目标帧的视频帧，也就是基于目标帧以及与目标帧间隔一段时间的参照帧，确定目标帧相对参照帧的变化，基于变换矩阵确定摄像装置的抖动程度，当抖动程度符合预设抖动条件时，从目标帧中的关联视频帧中确定针对目标部位采集的目标图像/视频帧，因此，当抖动程度符合预设抖动条件时能够无需用户手动采集针对目标部位的目标图像/视频帧，降低因人工操作导致摄像装置发生抖动的概率，提高图像采集的精度和清晰度。
请参阅图2，图2是本申请图像采集方法另一实施方式的流程示意图，该方法包括：
S201：获得由摄像装置针对待检测对象的目标部位采集的视频数据。
具体地，摄像装置包括可进入待检测对象的体内的摄像模组，目标部位包括待检测对象的体内的部位。
在一些实施例中，本实施例中的待检测对象是指具备生物特征的对象，包括但不限于人体、动物如猪、牛、羊等，以人体作为待检测对象为例，本实施例中的部位具体可以但不局限于包括待检测对象的器官或器官的某个部位，以人体为例，本实施例中的待检测对象的目标部位图像表征人体内部器官或该器官的某个部位的图像，但并非因此限制本申请所要保护的范围的依据。
在一应用场景中，摄像装置为医疗内窥镜，摄像装置可进入待检测对象的体内的摄像模组为前置摄像头，目标部位为肠道或胃部，当医疗内窥镜进入肠道或胃部后采集目标部位对应的视频数据，从而得到由摄像装置针对待检测对象的目标部位采集的视频数据。
具体地，医疗内窥镜为一种由图像传感器、照明光源、光学镜头与其他物理装置结构构成的检测仪器，其可以通过人体的各个器官如鼻口等部位进入，拍摄人体内的一些组织器官的情况，医生可以通过医疗内窥镜深入人体内各个组织进行拍摄，将人体内的一些病变情况保存下来。因此，医疗内窥镜在目前的病理诊断方面具有十分重要的作用，但是，通常医疗内窥镜在需要采集图像时需要医生主动去按压按钮，随着医生按压按钮或多或少会使得医生的身体产生运动，从而导致画面产生偏移或模糊，使目标部位的图像精度和清晰度下降。
进一步地，当医生需要对目标部位进行图像采集前，通常会将医疗内窥镜的位置固定，从而在一段时间间隔内，医疗内窥镜的抖动程度极小，若此时触发对目标部位的图像进行自动采集，即可大大提高目标部位的图像的精度和清晰度，提高病情分析的准确率。
S202：确定视频数据中目标帧相对于参照帧的变换矩阵，其中，变换矩阵中至少包括仿射变换参数和平移变换参数。
具体地，目标帧为视频数据中的任意视频帧，参照帧包括视频数据中采集时刻早于目标帧的视频帧。
在一应用方式中，参照帧为目标帧的采集时刻之前预设时间间隔内的视频帧，参照帧与目标帧之间存在预设帧数间隔，预设帧数间隔与预设时间间隔呈正比。
具体地，获取摄像装置采集的视频数据，基于预设时间间隔缓存视频帧，当提取到当前帧作为目标帧时，在目标帧的采集时间之间的预设时间间隔内提取预设帧数间隔的视频帧作为参照帧，以使目标帧始终与参照帧之间具备相同的帧数间隔，保持分析的一致性，其中，预设帧数间隔与预设时间间隔呈正比，当预设时间间隔越长，则预设帧数间隔越大，从而满足不同帧率的视频数据。
进一步地，仿射变换参数与目标帧对应的坐标系相对参照帧对应的坐标系之间的倍率和角度相关，平移变换参数与目标帧对应的坐标系相对参照帧对应的坐标系之间的位置相关。
具体地，变换矩阵利用公式表示如下：
Figure 496975DEST_PATH_IMAGE001
（1）
其中，其中A 2x2 代表仿射变换参数，T 2x1 代表平移变换参数，V T 代表边缘的投影关系，s是与V T 相关的缩放因子；a 11 、a 12 、a 21 、a 22 代表仿射变换参数，t x 和t y 代表平移变换参数。v 1 和v 2 的关系如下：
Figure 576927DEST_PATH_IMAGE002
（2）
进一步地，公式（2）中通常将s归一化到1，公式（1）中a 11 =（λx）cosθ，a 12 =（λx）sinθ，a 21 =（λy）-sinθ，a 22 =（λy）cosθ，其中，λx和λy分别代表新坐标系对于原坐标系在x和y坐标轴上的缩放率，θ代表旋转的角度；t x 和t y 分别代表水平与竖直方向的平移比例，因此，仿射变换参数与目标帧对应的坐标系相对参照帧对应的坐标系之间的倍率和角度相关，平移变换参数与目标帧对应的坐标系相对参照帧对应的坐标系之间的位置相关。通过仿射变换和平移变换两种维度反馈目标帧相对参照帧的变化程度，得到包括仿射变换参数和平移变换参数的变换矩阵，提高基于变换矩阵获得变化程度的准确率。
在一应用方式中，将目标帧和参照帧输入图像配准模型，以使图像配准模型输出目标帧相对参照帧的变换矩阵；其中，图像配准模型经过预先训练，用于确定两个视频帧之间的变换矩阵。
具体地，将视频帧经过仿射变换和/或平移变换，基于原始视频帧、变换后的视频帧和随机视频帧对图像配准模型进行训练，以使训练后的图像配准模型能够基于两个视频帧输出两个视频帧之间的变换矩阵，将目标帧和参照帧输入图像配准模型后，图像配准模型基于目标帧和参照帧的特征输出目标帧相对参照帧的变换矩阵，提高获得变换矩阵的效率和准确率。
S203：基于变换矩阵中的仿射变换参数和平移变换参数，分别确定变换矩阵相对恒等矩阵的仿射变换差值和平移变换差值。
具体地，基于目标帧相对参照帧的变化程度可确定摄像装置的抖动程度，其中，抖动程度与变换矩阵与恒等矩阵的差值相关，且恒等矩阵与变换矩阵的维度相同。也就是说，当变换矩阵如上述公式（1）所示时，恒等矩阵如下所示：
Figure 633612DEST_PATH_IMAGE003
（3）
其中，目标帧与恒等矩阵相乘后仍为目标帧的原始数据，分别计算单应性变换矩阵H3x3与恒等变换矩阵N3x3之间的仿射变换参数对应的仿射变换差值d A 、平移变换参数对应的平移变换差值d T 。
Figure 103907DEST_PATH_IMAGE004
（4）
Figure 568387DEST_PATH_IMAGE005
（5）
S204：基于仿射变换差值和平移变换差值确定抖动程度。
具体地，基于变换矩阵中仿射变换参数和平移变换参数两种变化维度对摄像装置的抖动程度进行预估，结合仿射变换参数对应的仿射变换差值以及平移变换参数对应的平移变换差值，从仿射变换和平移变换两种维度确定摄像装置的抖动程度，提高确定抖动程度的准确率。
S205：响应于抖动程度符合预设抖动条件，从目标帧的关联视频帧中确定出针对目标部位采集的目标图像/视频帧，其中，关联视频帧包括目标帧和/或采集时刻晚于目标帧的视频帧中的至少一个视频帧。
具体地，预设抖动条件包括抖动程度小于抖动程度阈值，其中，抖动程度与变换矩阵与恒等矩阵的差值相关。
进一步地，确定抖动程度是否符合预设抖动条件即为确定仿射变换差值和平移变换差值是否符合预设条件。
在一应用方式中，响应于抖动程度符合预设抖动条件，从目标帧的关联视频帧中确定出针对目标部位采集的目标图像/视频帧，包括：响应于仿射变换差值和平移变换差值均小于各自对应的差值阈值，从目标帧的关联视频帧中确定出针对目标部位采集的目标图像/视频帧；响应于仿射变换差值大于或等于对应的差值阈值和/或平移变换差值大于或等于对应的差值阈值，将视频数据中的其他视频帧作为新的目标帧，并返回至确定视频数据中目标帧相对于参照帧的变换矩阵的步骤。
具体地，只有仿射变换差值和平移变换差值均小于各自对应的差值阈值时，才自动触发采集目标部位对应的目标图像/视频帧，当仿射变换差值和平移变换差值中的至少一个差值大于或等于对应的差值阈值时，则表示目标帧相对参照帧发生了超过预设抖动条件的变化，进而目标帧对应的时间点上摄像装置对目标部位进行采集还不够平稳，因此，需要将目标帧之外的其他视频帧作为新的目标帧，返回步骤S202中。其中，当目标帧是按采集时间的顺序进行选取时，则将目标帧之后的视频帧作为新的目标帧。
进一步地，仿射变换差值和平移变换差值各自对应的差值阈值即为触发采集目标部位对应的目标图像/视频帧的条件，差值阈值的大小设定可调节自动获取目标图像/视频帧的灵敏度，提高在不同应用场景中的适配度。
在一应用场景中，从目标帧的关联视频帧中确定出针对目标部位采集的目标图像/视频帧，包括：获取采集时刻晚于目标帧的多个目标部位对应的视频帧，得到目标帧的关联视频帧；其中，关联视频帧包括目标帧和/或采集时刻晚于目标帧的多个目标部位对应的视频帧；对关联视频帧进行质量评分，在关联视频帧中选择质量评分符合质量评分条件的视频帧，作为目标部位对应的目标图像/视频帧。
具体地，当关联视频帧只包括目标帧时，则将目标帧作为目标部位对应的目标图像/视频帧即可，当关联视频帧包括采集时刻晚于目标帧的多个目标部位对应的视频帧时，此时关联视频帧可包括目标帧也可不包括目标帧，对关联视频帧进行质量评分，从而得到每个关联视频帧对应的质量评分，将质量评分符合质量评分条件的视频帧作为目标部位对应的目标图像/视频帧。
可选地，质量评分条件可为质量评分最高的视频帧，从而获得一张目标图像/视频帧，质量评分条件也可为质量评分超过评分阈值或质量评分最高的视频帧，从而获得至少一张目标图像/视频帧。
进一步地，以摄像装置为医疗内窥镜且目标帧为当前帧为例，当医疗内窥镜采集的目标帧与参照帧之间对应的变换矩阵与恒等矩阵之间的差值符合预设条件时，也就是仿射变换差值和平移变换差值均小于各自对应的差值阈值时，触发自动采集视频帧，其中，自动采集的视频帧可以是从连续的视频数据中提取目标帧采集时间之后的视频帧，也可以是利用摄像模组连续拍摄的图像，从而得到关联视频帧，对关联视频帧以质量评分的方式优选出清晰度更高的目标图像/视频帧提高图像采集的精度和清晰度。
在一具体应用场景中，对关联视频帧进行质量评分，在关联视频帧中选择质量评分符合质量评分条件的视频帧，作为目标部位对应的目标图像/视频帧，包括：将各个关联视频帧按部位分成多个图像块；确定各个关联视频帧对应的所有图像块的拉普拉斯值，基于相同部位的所有图像块对应的拉普拉斯值，确定各个部位对应的拉普拉斯值最高的高分图像块；确定各个关联视频帧中高分图像块对应的数量，将包括高分图像块数量最多的关联视频帧作为目标部位对应的目标图像/视频帧。
具体地，对每个关联视频帧按部位进行分块操作，得到多个图像块，计算每个图像块对应的拉普拉斯值，其中，拉普拉斯值是通过对图像块进行拉普拉斯变换操作后获得，通过拉普拉斯变换操作可以突出图像中强度发生快速变化的区域，从而通过拉普拉斯值来反馈图像块的清晰度，并且，拉普拉斯值相对来说计算方便，方便使用图形处理器获得拉普拉斯值。上述过程利用公式表示如下：
Figure 706107DEST_PATH_IMAGE006
（6）
其中，f代表原图像块，f(x,y)代表图像中的坐标为x，y点的像素值。
进一步地，按图像块的部位，统计所有关联视频帧中同一部位的图像块对应的拉普拉斯值最大的图像块，将各部位拉普拉斯值最大的图像块作为高分图像块，统计各个图像块中高分图像块的数量，将包括高分图像块数量最多的关联视频帧作为目标部位对应的目标图像/视频帧，分块操作能够减弱某些局部区域模糊导致的误差，提高采集的目标部位对应的目标图像/视频帧的清晰度。
可选地，在确定图像块的拉普拉斯值之前通常需要先用高斯平滑滤波器对图像块进行平滑处理，以降低拉普拉斯变换操作对于噪声的敏感性。当存在多个高分图像块数量相同的关联视频帧，则统计对应的关联视频帧中拉普拉斯值的总数值，将总数值最高的关联视频帧作为目标部位对应的目标图像/视频帧，提高采集的目标部位对应的目标图像/视频帧的精度。
上述实施例中，通过目标帧与存在预设帧数间隔的参照帧之间的变换矩阵与恒等矩阵，确定变换矩阵相对所述恒等矩阵的仿射变换差值和平移变换差值，得到摄像装置的抖动程度，在抖动程度满足预设抖动条件时，获取多个关联视频帧，对关联视频帧按部位进行分块，基于每个图像块的拉普拉斯值，最终选择包括高分图像块数量最多的关联视频帧作为目标部位对应的目标图像/视频帧，提高目标部位对应的目标图像/视频帧的精度和清晰度。
请参阅图3，图3是本申请图像采集系统一实施方式的结构示意图，该图像采集系统30用于实现上述任一实施例中的图像采集方法，包括：接收模块301、检测模块302、判断模块303和选择模块304，其中，接收模块301用于获得由摄像装置针对待检测对象的目标部位采集的视频数据，检测模块302用于确定视频数据中目标帧相对于参照帧的变换矩阵。目标帧为视频数据中的任意视频帧，参照帧包括视频数据中采集时刻早于目标帧的视频帧。判断模块303用于基于变换矩阵确定摄像装置的抖动程度。选择模块304用于当抖动程度符合预设抖动条件时，从目标帧的关联视频帧中确定出针对目标部位采集的目标图像/视频帧，关联视频帧包括目标帧和/或采集时刻晚于目标帧的视频帧中的至少一个视频帧。
请参阅图4，图4是本申请电子设备一实施方式的结构示意图，该电子设备40包括相互耦接的存储器401和处理器402，其中，存储器401存储有程序数据（图未示），处理器402调用程序数据以实现上述任一实施例中的方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
请参阅图5，图5是本申请计算机可读存储介质一实施方式的结构示意图，该计算机可读存储介质50存储有程序数据500，该程序数据500被处理器执行时实现上述任一实施例中的方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
需要说明的是，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种图像采集方法，其特征在于，所述方法包括：
获得由摄像装置针对待检测对象的目标部位采集的视频数据；
确定所述视频数据中目标帧相对于参照帧的变换矩阵；所述目标帧为所述视频数据中的任意视频帧，所述参照帧包括所述视频数据中采集时刻早于所述目标帧的视频帧；
基于所述变换矩阵确定所述摄像装置的抖动程度；
响应于所述抖动程度符合预设抖动条件，从所述目标帧的关联视频帧中确定出针对所述目标部位采集的目标图像/视频帧；所述关联视频帧包括所述目标帧和/或采集时刻晚于所述目标帧的视频帧中的至少一个视频帧。
2.根据权利要求1所述的图像采集方法，其特征在于，所述摄像装置包括可进入所述待检测对象的体内的摄像模组；
所述目标部位包括所述待检测对象的体内的部位。
3.根据权利要求1所述的图像采集方法，其特征在于，所述预设抖动条件包括所述抖动程度小于抖动程度阈值；其中，所述抖动程度与所述变换矩阵与恒等矩阵的差值相关，且所述恒等矩阵与所述变换矩阵的维度相同。
4.根据权利要求1-3任一项所述的图像采集方法，其特征在于，所述变换矩阵中至少包括仿射变换参数和平移变换参数；其中，所述仿射变换参数与所述目标帧对应的坐标系相对所述参照帧对应的坐标系之间的倍率和角度相关，所述平移变换参数与所述目标帧对应的坐标系相对所述参照帧对应的坐标系之间的位置相关。
5.根据权利要求4所述的图像采集方法，其特征在于，所述基于所述变换矩阵确定所述摄像装置的抖动程度，包括：
基于所述变换矩阵中的所述仿射变换参数和平移变换参数，分别确定所述变换矩阵相对所述恒等矩阵的仿射变换差值和平移变换差值；
基于所述仿射变换差值和所述平移变换差值确定所述抖动程度。
6.根据权利要求5所述的图像采集方法，其特征在于，所述响应于所述抖动程度符合预设抖动条件，从所述目标帧的关联视频帧中确定出针对所述目标部位采集的目标图像/视频帧，包括：
响应于所述仿射变换差值和所述平移变换差值均小于各自对应的差值阈值，从所述目标帧的关联视频帧中确定出针对所述目标部位采集的目标图像/视频帧；
响应于所述仿射变换差值大于或等于对应的差值阈值和/或所述平移变换差值大于或等于对应的差值阈值，将所述视频数据中的其他视频帧作为新的目标帧，并返回至确定所述视频数据中目标帧相对于参照帧的变换矩阵的步骤。
7.根据权利要求1所述的图像采集方法，其特征在于，所述从所述目标帧的关联视频帧中确定出针对所述目标部位采集的目标图像/视频帧，包括：
获取采集时刻晚于所述目标帧的多个所述目标部位对应的视频帧，得到所述目标帧的关联视频帧；其中，所述关联视频帧包括所述目标帧和/或采集时刻晚于所述目标帧的多个所述目标部位对应的视频帧；
对所述关联视频帧进行质量评分，在所述关联视频帧中选择质量评分符合质量评分条件的视频帧，作为所述目标部位对应的目标图像/视频帧。
8.根据权利要求7所述的图像采集方法，其特征在于，所述对所述关联视频帧进行质量评分，在所述关联视频帧中选择质量评分符合质量评分条件的视频帧，作为所述目标部位对应的目标图像/视频帧，包括：
将各个所述关联视频帧按部位分成多个图像块；
确定各个所述关联视频帧对应的所有所述图像块的拉普拉斯值，基于相同部位的所有所述图像块对应的所述拉普拉斯值，确定各个所述部位对应的拉普拉斯值最高的高分图像块；
确定各个所述关联视频帧中所述高分图像块对应的数量，将包括所述高分图像块数量最多的所述关联视频帧作为所述目标部位对应的目标图像/视频帧。
9.根据权利要求1所述的图像采集方法，其特征在于，所述确定所述视频数据中目标帧相对于参照帧的变换矩阵，包括：
将所述目标帧和所述参照帧输入图像配准模型，以使所述图像配准模型输出所述目标帧相对所述参照帧的变换矩阵；其中，所述图像配准模型经过预先训练，用于确定两个视频帧之间的变换矩阵。
10.根据权利要求1所述的图像采集方法，其特征在于，所述参照帧为所述目标帧的采集时刻之前预设时间间隔内的视频帧，所述参照帧与所述目标帧之间存在预设帧数间隔，所述预设帧数间隔与所述预设时间间隔呈正比。
11.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行如权利要求1-10中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如权利要求1-10中任一项所述的方法。
CN202210429433.3A 2022-04-22 2022-04-22 图像采集方法、电子设备和计算机可读存储介质 Active CN114531549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210429433.3A CN114531549B (zh) 2022-04-22 2022-04-22 图像采集方法、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210429433.3A CN114531549B (zh) 2022-04-22 2022-04-22 图像采集方法、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114531549A true CN114531549A (zh) 2022-05-24
CN114531549B CN114531549B (zh) 2022-08-09

Family

ID=81628345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210429433.3A Active CN114531549B (zh) 2022-04-22 2022-04-22 图像采集方法、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114531549B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708261A (zh) * 2022-06-01 2022-07-05 浙江大华技术股份有限公司 图像采集设备的运动估计方法、装置、终端及存储介质
CN116150421A (zh) * 2023-04-23 2023-05-23 深圳竹云科技股份有限公司 图像的展示方法、装置、计算机设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070274605A1 (en) * 2006-05-24 2007-11-29 Amos Yahil Curvature-preserving filters for denoising and controlled deblurring of images
US20100091131A1 (en) * 2007-06-11 2010-04-15 Olympus Corporation Imaging system and storage medium storing an imaging program
CN104823444A (zh) * 2012-11-12 2015-08-05 行为识别系统公司 用于视频监控系统的图像稳定技术
US9916863B1 (en) * 2017-02-24 2018-03-13 Gopro, Inc. Systems and methods for editing videos based on shakiness measures
WO2018223381A1 (zh) * 2017-06-09 2018-12-13 厦门美图之家科技有限公司 一种视频防抖方法及移动设备
CN110572534A (zh) * 2019-09-19 2019-12-13 浙江大搜车软件技术有限公司 全景图像的数字视频稳像方法、装置、设备及存储介质
CN110740247A (zh) * 2018-07-18 2020-01-31 腾讯科技（深圳）有限公司 视频增稳方法、装置、计算机设备及存储介质
CN112132017A (zh) * 2020-09-22 2020-12-25 广州华多网络科技有限公司 图像处理方法、装置及电子设备
CN112634179A (zh) * 2021-01-14 2021-04-09 北京四方继保工程技术有限公司 一种防摄像头抖动的变电设备图像变化检测方法和系统
CN113132560A (zh) * 2019-12-31 2021-07-16 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质
CN113691733A (zh) * 2021-09-18 2021-11-23 北京百度网讯科技有限公司 视频抖动检测方法、装置、电子设备和存储介质
CN113905147A (zh) * 2021-09-30 2022-01-07 桂林长海发展有限责任公司 一种船用监控视频画面去抖方法、装置以及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070274605A1 (en) * 2006-05-24 2007-11-29 Amos Yahil Curvature-preserving filters for denoising and controlled deblurring of images
US20100091131A1 (en) * 2007-06-11 2010-04-15 Olympus Corporation Imaging system and storage medium storing an imaging program
CN104823444A (zh) * 2012-11-12 2015-08-05 行为识别系统公司 用于视频监控系统的图像稳定技术
US9916863B1 (en) * 2017-02-24 2018-03-13 Gopro, Inc. Systems and methods for editing videos based on shakiness measures
WO2018223381A1 (zh) * 2017-06-09 2018-12-13 厦门美图之家科技有限公司 一种视频防抖方法及移动设备
CN110740247A (zh) * 2018-07-18 2020-01-31 腾讯科技（深圳）有限公司 视频增稳方法、装置、计算机设备及存储介质
CN110572534A (zh) * 2019-09-19 2019-12-13 浙江大搜车软件技术有限公司 全景图像的数字视频稳像方法、装置、设备及存储介质
CN113132560A (zh) * 2019-12-31 2021-07-16 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质
CN112132017A (zh) * 2020-09-22 2020-12-25 广州华多网络科技有限公司 图像处理方法、装置及电子设备
CN112634179A (zh) * 2021-01-14 2021-04-09 北京四方继保工程技术有限公司 一种防摄像头抖动的变电设备图像变化检测方法和系统
CN113691733A (zh) * 2021-09-18 2021-11-23 北京百度网讯科技有限公司 视频抖动检测方法、装置、电子设备和存储介质
CN113905147A (zh) * 2021-09-30 2022-01-07 桂林长海发展有限责任公司 一种船用监控视频画面去抖方法、装置以及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUNSEN JING: "Video Image Stabilization Algorithm for Remote Control Driving", 《2021 4TH INTERNATIONAL CONFERENCE ON ROBOTICS, CONTROL AND AUTOMATION ENGINEERING (RCAE)》 *
刘天: "低延时视频稳像方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邹刚等: "抖动视频的电子稳像算法", 《吉林大学学报(信息科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708261A (zh) * 2022-06-01 2022-07-05 浙江大华技术股份有限公司 图像采集设备的运动估计方法、装置、终端及存储介质
CN116150421A (zh) * 2023-04-23 2023-05-23 深圳竹云科技股份有限公司 图像的展示方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114531549B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN114531549B (zh) 图像采集方法、电子设备和计算机可读存储介质
JP4196714B2 (ja) デジタルカメラ
CN111597938B (zh) 活体检测、模型训练方法及装置
CN107948517B (zh) 预览画面虚化处理方法、装置及设备
WO2011061940A1 (ja) 画像処理方法および画像処理装置
JP4940164B2 (ja) 撮像装置及び撮像方法
CN110516579B (zh) 手持眼底相机拍照方法和装置、设备及存储介质
JP2017076288A (ja) 情報処理装置、情報処理方法及びプログラム
US7418122B2 (en) Image processing apparatus and method
JP6913953B2 (ja) 肉質等級の品質基準のデジタル化方法、それによる品質基準を利用した品質評価のデジタル処理方法、それらを利用した自動肉質評価装置、および、それに搭載されるソフトウェア
JP4691570B2 (ja) 画像処理装置およびオブジェクト推定プログラム
CN113823400A (zh) 肠道退镜速度监测方法、装置及计算机可读存储介质
CN111986163A (zh) 人脸图像选择方法和装置
CN113822927B (zh) 一种适用弱质量图像的人脸检测方法、装置、介质及设备
CN111212226A (zh) 对焦拍摄方法和装置
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN112861588B (zh) 一种活体检测的方法、装置
CN111160326B (zh) Ct扫描全景实时监测方法和系统
CN111314608B (zh) 一种图像定焦提示方法、计算机装置及计算机可读存储介质
CN116977411B (zh) 内镜移动速度估计方法及装置、电子设备及存储介质
KR101188476B1 (ko) 촬영 거리 계산 및 피사체의 수평 거리 보정 장치 및 방법
CN109410244B (zh) 一种基于全局光流法的肺部肿瘤自动检测跟踪方法
CN113691731B (zh) 一种处理方法、装置和电子设备
JP2006175057A (ja) 画像処理装置、そのプログラムおよび方法
JP2005020337A (ja) 画像処理方法および装置並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant