CN113473016A - 一种高速相机瞬时触发采集方法与装置 - Google Patents

一种高速相机瞬时触发采集方法与装置 Download PDF

Info

Publication number
CN113473016A
CN113473016A CN202110743418.1A CN202110743418A CN113473016A CN 113473016 A CN113473016 A CN 113473016A CN 202110743418 A CN202110743418 A CN 202110743418A CN 113473016 A CN113473016 A CN 113473016A
Authority
CN
China
Prior art keywords
speed camera
image
instantaneous
speed
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110743418.1A
Other languages
English (en)
Inventor
王耀东
赵永岗
王鹏程
冯苏芳
周尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Kangtaida Intelligent Sensing Technology Co ltd
Original Assignee
Kunshan Kangtaida Intelligent Sensing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Kangtaida Intelligent Sensing Technology Co ltd filed Critical Kunshan Kangtaida Intelligent Sensing Technology Co ltd
Priority to CN202110743418.1A priority Critical patent/CN113473016A/zh
Publication of CN113473016A publication Critical patent/CN113473016A/zh
Priority to CN202210193002.1A priority patent/CN114422707A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种高速相机瞬时触发采集方法与装置，包括以下步骤：高速相机图像采集存储、高速相机瞬间触发信号的生成、高速相机瞬间触发信号的计算、高速相机存储空间自动配置和高帧率图像瞬时判断计算。本方法可以实时判断和瞬间智能判断生成触发信号，自动保存关键帧图像数据，效率高且更加精确，也避免了后续离线处理或者人工截取的问题，并且可以实时判断，并选择性的保存关键帧视频图像，所以存储量小，可以长时间自动进行存储。

Description

一种高速相机瞬时触发采集方法与装置
技术领域
本发明属于机器视觉技术领域，具体涉及一种高速相机瞬时触发采集方法与装置。
背景技术
机器视觉技术在工业检测领域应用广泛，当前中低速图像采集系统，特别是100fps帧率以内的视觉系统，基本都能实现高清高质量图像的采集，可以在线检测并实时记录目标物体的关键过程。随着高速加工、高速流水线的大批量应用，以及目标检测、缺陷检测的需求，高速相机在高速运动目标实时处理，甚至相机瞬间自动触发，以获取关键视频图像数据的技术，都有较大的需求。高速相机主流的瞬时触发和视频采集方法，还是利用外触发信号同步采集，或者人眼判断手工触发录像，然而当前的高速相机难以找到一种基于相机内部算法并自动触发，并获取并保存关键图像数据的方法。
为此，我们提出一种高速相机瞬时触发采集方法与装置来解决现有技术中存在的问题，利用高速相机，连续获取目标物体的实时图像，利用帧间图像高速处理算法，智能判断瞬间的剧烈变化，生成触发信号，并设计高速视频流图像瞬时存储技术，实现高速相机瞬时触发与采集。
发明内容
本发明的目的在于提供一种高速相机瞬时触发采集方法与装置，以解决上述背景技术中提出现有的高速相机难以基于相机内部算法触发并获取关键图像数据的问题。
为实现上述目的，本发明采用了如下技术方案：一种高速相机瞬时触发采集方法，包括以下步骤：
S1、高速相机图像采集存储，选择100fps以上的高速相机，即10ms内的瞬间曝光成像，并连续采集高速运动图像，然后将高速相机通过专用的高速数据传输线接入计算机中，计算机操作系统安装高速相机专用软件，通过计算机软件内部置入算法，计算图像帧数据判断高速目标状态，生成触发信号，控制计算机内存或者硬盘空间，存储关键帧图像；
S2、高速相机瞬间触发信号的生成，计算机内置的高速相机采集软件，实时获取高速相机视频流数据，并生成相机触发信号，控制自动配置存储空间，将关键帧视频流图像存储到内存或者硬盘中；
S3、高速相机瞬间触发信号的计算，高速相机视频流图像分为两路，一路进行瞬间计算，计算机置入算法瞬间判断状态实时处理图像数据，等待生成相机触发信号，例如在一段时间内，瞬时判断出2个异常，第1个异常产生第1个脉冲信号，s1为上升沿，即为触发开始的信号，x1为下降沿，即为触发结束的信号，根据触发开始和触发结束的瞬间内，根据时间段，自动配置存储空间，保存异常状态的关键帧图像；
S4、高速相机存储空间自动配置，高速相机视频流图像的另一路输入到预先开辟的FIFO队列存储空间，这个存储空间可以存储一定数量的高帧率图像，例如1秒内的1000帧高帧率图像，预存储瞬间图像数据，为后续出现的异常关键帧视频流图像进行内存预留存储；
S5、高帧率图像瞬时判断计算，针对实时视频流图像数据进行瞬间计算，由于计算时间非常短，所以瞬时判断算法不宜利用复杂的理论，主要利用背景差分法、帧间差分法、视频光流法等算法实现。
优选的，所述S1中高速相机需配合辅助光源进行成像，以保证高清高质量图像的生成。
优选的，所述S2中如果设置0.5ms时间内获得一帧图像，则另外0.5ms时间内完成高速算法处理与瞬间状态自动判断。
优选的，所述S4中视频流数据实时FIFO更新，一旦算法判断并生成触发信号，即可瞬间存储当前开辟的FIFO队列存储空间数据，智能保存图像。
优选的，所述S4中可以利用预存储训练样本的目标检测算法进行计算。
优选的，所述S1中还可以将高速相机通过专用外设存储设备置入采集软件，利用外设装置触发相机存储设备，记录高速运动关键帧视频图像。
一种高速相机瞬时触发采集装置，包括壳体，所述壳体的表面通过螺钉固定安装有高速相机，所述壳体的表面安装有后盖，所述后盖的表面装配有电路板和图像采集卡，所述电路板的表面集成有高帧率图像瞬时判断算法模块和高速相机信号生成模块，所述高速相机信号生成模块包括视频流图像接受单元、瞬间状态自动判断单元、自动生成相机触发信号单元和存储空间自动配置单元。
优选的，所述自动生成相机触发信号单元与存储空间自动配置单元相连，所述存储空间自动配置单元与图像采集卡相连，所述高速相机与图像采集卡、视频流图像接受单元和自动生成相机触发信号单元相连，所述视频流图像接受单元与瞬间状态自动判断单元相连，所述瞬间状态自动判断单元与自动生成相机触发信号单元相连。
本发明的技术效果和优点：本发明提出的一种高速相机瞬时触发采集方法与装置，与现有技术相比，具有以下优点：
1、当前的高速相机或者高速摄影系统，主要具备高帧率视频流图像采集存储功能，但是主要利用外触发，外传感器触发，或者人工操作触发，往往需要保存较长一段时间的高速视频图像，然后离线处理，并截取关键帧图像，效率低、使用存储空间较大，本方法可以实时判断和瞬间智能判断生成触发信号，自动保存关键帧图像数据，效率高且更加精确，也避免了后续离线处理或者人工截取的问题；
2、本发明可以进行多个关键帧图像的自动判断和数据存储，不用传统方法的手动释放存储空间，常规的方法是高速相机一直在线采集图像，存储一段关键视频后，当内存或硬盘数据量满了，需要手动清除存储空间，然后再进行下一次高速存储，本发明为实时判断，并选择性的保存关键帧视频图像，所以存储量小，可以长时间自动进行存储。
附图说明
图1为本发明高速相机信号生成模块与高速相机和图像采集卡的连接框图；
图2为本发明高速相机存储空间自动配置的框图；
图3为本发明高速相机图像采集存储的框图；
图4为本发明的主体结构示意图；
图5为本发明的后盖的主体结构示意图。
图中：1、高速相机；2、壳体；3、后盖；4、电路板；5、高帧率图像瞬时判断算法模块；6、高速相机信号生成模块；7、图像采集卡。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1-3所示的一种高速相机瞬时触发采集方法，包括以下步骤：
S1、高速相机图像采集存储，选择100fps以上的高速相机，即10ms内的瞬间曝光成像，并连续采集高速运动图像，然后将高速相机通过专用的高速数据传输线接入计算机中，计算机操作系统安装高速相机专用软件，通过计算机软件内部置入算法，计算图像帧数据判断高速目标状态，生成触发信号，控制计算机内存或者硬盘空间，存储关键帧图像，还可以将高速相机通过专用外设存储设备置入采集软件，利用外设装置触发相机存储设备，记录高速运动关键帧视频图像，高速相机需配合辅助光源进行成像，以保证高清高质量图像的生成；
S2、高速相机瞬间触发信号的生成，计算机内置的高速相机采集软件，实时获取高速相机视频流数据，并生成相机触发信号，控制自动配置存储空间，将关键帧视频流图像存储到内存或者硬盘中，如果设置0.5ms时间内获得一帧图像，则另外0.5ms时间内完成高速算法处理与瞬间状态自动判断，高速视觉瞬时生成触发信号并自动保存主要利用图像进行数据处理，还可以利用红外传感器、激光传感器等设备，通过热成像图像、激光测距变化等生成触发信号来进行后续处理；
S3、高速相机瞬间触发信号的计算，高速相机视频流图像分为两路，一路进行瞬间计算，计算机置入算法瞬间判断状态实时处理图像数据，等待生成相机触发信号，例如在一段时间内，瞬时判断出2个异常，第1个异常产生第1个脉冲信号，s1为上升沿，即为触发开始的信号，x1为下降沿，即为触发结束的信号，根据触发开始和触发结束的瞬间内，根据时间段，自动配置存储空间，保存异常状态的关键帧图像；
S4、高速相机存储空间自动配置，高速相机视频流图像的另一路输入到预先开辟的FIFO队列存储空间，这个存储空间可以存储一定数量的高帧率图像，例如1秒内的1000帧高帧率图像，预存储瞬间图像数据，为后续出现的异常关键帧视频流图像进行内存预留存储，视频流数据实时FIFO更新，一旦算法判断并生成触发信号，即可瞬间存储当前开辟的FIFO队列存储空间数据，智能保存图像，还可以利用预存储训练样本的目标检测算法进行计算；
S5、高帧率图像瞬时判断计算，针对实时视频流图像数据进行瞬间计算，由于计算时间非常短，所以瞬时判断算法不宜利用复杂的理论，主要利用背景差分法、帧间差分法、视频光流法等算法实现，当前主要利用有线数据传输，如果随着技术的进步，无线传输方法也可以达到超高速的数据传输时，可以使用无线传输技术进行数据传输，以背景差分法进行为例进行说明：
1)计算背景差分图像
视频流实时输入图像定义为I(x，y，t)，背景图像为R(x，y)，B(x，y，t)定义为差分图像，设定阈值Td，则当前帧实时计算的背景差分图像就可以计算出来：
Figure BDA0003143505830000061
2)计算高速视频流图像的矩
针对背景差分图像B(x，y，t)，计算图像0阶矩M0(t)，表示前景目标在图像中的面积，计算图像1阶矩Mx(t)和My(t)，表示前景目标的实时变化中水平和竖直方向的数据：
Figure BDA0003143505830000062
3)计算前景目标的位置、速度和加速度
定义前景目标的中心位置xC(t)＝(xC(t)，yC(t))，前景目标的变化速度
Figure BDA0003143505830000063
和前景目标的变化加速度:
Figure BDA0003143505830000064
Figure BDA0003143505830000065
其中，Δt是高帧率视频流图像的采集间隔，例如1000fps高速相机，对应的帧间采样时间为1ms，为了降低噪声干扰，可以利用滑动平均值计算方法，来计算前景目标的速度和加速度
Figure BDA0003143505830000071
和
Figure BDA0003143505830000072
一般设计当前实时数据帧图像的前面N帧图像，进行平均平滑处理，N的取值一般根据高速计算的时间而定，对于1000fps的高速相机，N一般不超过5：
4)瞬间虚拟力的计算
本发明所使用的触发信号计算方法为瞬间虚拟力FC(t)，本发明设计算法认为高速运动场景，只有在瞬间发生了能量的剧烈变化，从而智能判定发生了关键运动，从而自动存储当前的高帧率图像。也就意味着，瞬间能量变化也可以通过力的变化所体现，所以根据xC(t)，
Figure BDA0003143505830000073
和
Figure BDA0003143505830000074
计算高帧率图像的瞬间虚拟力FC(t)：
Figure BDA0003143505830000075
其中，M、D和K对应着质量，阻尼系数和弹性常数。由于视频流图像对应的单位是像素，所以本算法中这些值为虚拟值，保持不变，所以计算的瞬间虚拟力对应的为高速视频数据的虚拟力变化，一旦此值变化剧烈，即判断异常关键信息，可生成触发信号。
5)瞬间状态判断与触发信号生成
高帧率视频流图像触发信s(t)根据瞬间虚拟力FC(t)和定义的阈值F0判断产生，当瞬间虚拟力FC(t)波动剧烈且瞬间超出稳定力阈值F0时，可认为目标场景发生了关键变化或其他运动，即可生成触发信号，通知存储设备，自动保存此刻的高帧率视频图像。
Figure BDA0003143505830000081
本发明提供了如图4-5所示的一种高速相机瞬时触发采集装置，包括壳体2，壳体2的表面通过螺钉固定安装有高速相机1，壳体2的表面安装有后盖3，后盖3的表面装配有电路板4和图像采集卡7，电路板4的表面集成有高帧率图像瞬时判断算法模块5和高速相机信号生成模块6，高速相机信号生成模块6包括视频流图像接受单元、瞬间状态自动判断单元、自动生成相机触发信号单元和存储空间自动配置单元。
自动生成相机触发信号单元与存储空间自动配置单元相连，存储空间自动配置单元与图像采集卡7相连，高速相机1与图像采集卡7、视频流图像接受单元和自动生成相机触发信号单元相连，视频流图像接受单元与瞬间状态自动判断单元相连，瞬间状态自动判断单元与自动生成相机触发信号单元相连，在具体实施中，高帧率图像瞬时判断算法模块5和高速相机信号生成模块6以及图像菜加快7可以集成安装在一个大模块中，也可以形成几个小模块，分散式安装应用。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种高速相机瞬时触发采集方法，其特征在于：包括以下步骤：
S1、高速相机图像采集存储，选择100fps以上的高速相机，即10ms内的瞬间曝光成像，并连续采集高速运动图像，然后将高速相机通过专用的高速数据传输线接入计算机中，计算机操作系统安装高速相机专用软件，通过计算机软件内部置入算法，计算图像帧数据判断高速目标状态，生成触发信号，控制计算机内存或者硬盘空间，存储关键帧图像；
S2、高速相机瞬间触发信号的生成，计算机内置的高速相机采集软件，实时获取高速相机视频流数据，并生成相机触发信号，控制自动配置存储空间，将关键帧视频流图像存储到内存或者硬盘中；
S3、高速相机瞬间触发信号的计算，高速相机视频流图像分为两路，一路进行瞬间计算，计算机置入算法瞬间判断状态实时处理图像数据，等待生成相机触发信号，例如在一段时间内，瞬时判断出2个异常，第1个异常产生第1个脉冲信号，s1为上升沿，即为触发开始的信号，x1为下降沿，即为触发结束的信号，根据触发开始和触发结束的瞬间内，根据时间段，自动配置存储空间，保存异常状态的关键帧图像；
S4、高速相机存储空间自动配置，高速相机视频流图像的另一路输入到预先开辟的FIFO队列存储空间，这个存储空间可以存储一定数量的高帧率图像，例如1秒内的1000帧高帧率图像，预存储瞬间图像数据，为后续出现的异常关键帧视频流图像进行内存预留存储；
S5、高帧率图像瞬时判断计算，针对实时视频流图像数据进行瞬间计算，由于计算时间非常短，所以瞬时判断算法不宜利用复杂的理论，主要利用背景差分法、帧间差分法、视频光流法等算法实现。
2.根据权利要求1所述的一种高速相机瞬时触发采集方法，其特征在于：所述S1中高速相机需配合辅助光源进行成像，以保证高清高质量图像的生成。
3.根据权利要求1所述的一种高速相机瞬时触发采集方法，其特征在于：所述S2中如果设置0.5ms时间内获得一帧图像，则另外0.5ms时间内完成高速算法处理与瞬间状态自动判断。
4.根据权利要求1所述的一种高速相机瞬时触发采集方法，其特征在于：所述S4中视频流数据实时FIFO更新，一旦算法判断并生成触发信号，即可瞬间存储当前开辟的FIFO队列存储空间数据，智能保存图像。
5.根据权利要求1所述的一种高速相机瞬时触发采集方法，其特征在于：所述S4中可以利用预存储训练样本的目标检测算法进行计算。
6.根据权利要求1所述的一种高速相机瞬时触发采集方法，其特征在于：所述S1中还可以将高速相机通过专用外设存储设备置入采集软件，利用外设装置触发相机存储设备，记录高速运动关键帧视频图像。
7.一种高速相机瞬时触发采集装置，包括壳体(2)，其特征在于：所述壳体(2)的表面通过螺钉固定安装有高速相机(1)，所述壳体(2)的表面安装有后盖(3)，所述后盖(3)的表面装配有电路板(4)和图像采集卡(7)，所述电路板(4)的表面集成有高帧率图像瞬时判断算法模块(5)和高速相机信号生成模块(6)，所述高速相机信号生成模块(6)包括视频流图像接受单元、瞬间状态自动判断单元、自动生成相机触发信号单元和存储空间自动配置单元。
8.根据权利要求7所述的一种高速相机瞬时触发采集装置，其特征在于：所述自动生成相机触发信号单元与存储空间自动配置单元相连，所述存储空间自动配置单元与图像采集卡(7)相连，所述高速相机(1)与图像采集卡(7)、视频流图像接受单元和自动生成相机触发信号单元相连，所述视频流图像接受单元与瞬间状态自动判断单元相连，所述瞬间状态自动判断单元与自动生成相机触发信号单元相连。
CN202110743418.1A 2021-07-01 2021-07-01 一种高速相机瞬时触发采集方法与装置 Withdrawn CN113473016A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110743418.1A CN113473016A (zh) 2021-07-01 2021-07-01 一种高速相机瞬时触发采集方法与装置
CN202210193002.1A CN114422707A (zh) 2021-07-01 2022-04-01 一种高速相机瞬时触发采集方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110743418.1A CN113473016A (zh) 2021-07-01 2021-07-01 一种高速相机瞬时触发采集方法与装置

Publications (1)

Publication Number Publication Date
CN113473016A true CN113473016A (zh) 2021-10-01

Family

ID=77877006

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110743418.1A Withdrawn CN113473016A (zh) 2021-07-01 2021-07-01 一种高速相机瞬时触发采集方法与装置
CN202210193002.1A Withdrawn CN114422707A (zh) 2021-07-01 2022-04-01 一种高速相机瞬时触发采集方法与装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210193002.1A Withdrawn CN114422707A (zh) 2021-07-01 2022-04-01 一种高速相机瞬时触发采集方法与装置

Country Status (1)

Country Link
CN (2) CN113473016A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422664A (zh) * 2021-12-21 2022-04-29 成都臻识科技发展有限公司 一种智能运动相机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422664A (zh) * 2021-12-21 2022-04-29 成都臻识科技发展有限公司 一种智能运动相机

Also Published As

Publication number Publication date
CN114422707A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN103017730B (zh) 一种单摄像头测距的方法和系统
EP1748378B1 (en) Image capturing apparatus and image capturing method
CN106778477B (zh) 网球拍动作识别方法及装置
CN106961552B (zh) 一种对焦控制方法及电子设备
CN110248048B (zh) 一种视频抖动的检测方法及装置
US20210152739A1 (en) Methods and devices for capturing high-speed and high-definition videos
WO2018118731A1 (en) Eye tracking system with low-latency and low-power
CN102307280B (zh) 用于高速数字摄像装置的图像采集用触发检测方法及装置
CN114422707A (zh) 一种高速相机瞬时触发采集方法与装置
CN109919116B (zh) 场景识别方法、装置、电子设备及存储介质
JP7182020B2 (ja) 情報処理方法、装置、電子機器、記憶媒体およびプログラム
CN114339102B (zh) 一种录像方法及设备
CN110933303A (zh) 拍照方法及电子设备
CN109714539B (zh) 基于姿态识别的图像采集方法、装置及电子设备
CN111601032A (zh) 一种拍摄方法、装置及电子设备
CN107615745A (zh) 一种拍照方法及终端
Sajjanar et al. Implementation of real time moving object detection and tracking on FPGA for video surveillance applications
CN112153301A (zh) 拍摄方法和电子设备
JP2023545536A (ja) 撮影方法、撮影装置、電子機器及び可読記憶媒体
CN112399032B (zh) 一种基于检测器的脉冲式图像传感器的光流获取方法
CN101470248A (zh) 对焦装置及方法
CN107667522B (zh) 形成活动图像的方法和装置
CN105203045B (zh) 一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法
CN114095700B (zh) 一种全景红外视觉地面震动监测方法
CN113489880B (zh) 电子设备、信息同步方法和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211001