CN116366959B - 一种超低延时的eptz摄像方法及设备 - Google Patents

一种超低延时的eptz摄像方法及设备 Download PDF

Info

Publication number
CN116366959B
CN116366959B CN202310395970.5A CN202310395970A CN116366959B CN 116366959 B CN116366959 B CN 116366959B CN 202310395970 A CN202310395970 A CN 202310395970A CN 116366959 B CN116366959 B CN 116366959B
Authority
CN
China
Prior art keywords
roi
stream
sensor
image data
sync
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310395970.5A
Other languages
English (en)
Other versions
CN116366959A (zh
Inventor
黎海敏
吴志鹏
胡正强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ocam Technology Co ltd
Original Assignee
Shenzhen Ocam Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ocam Technology Co ltd filed Critical Shenzhen Ocam Technology Co ltd
Priority to CN202310395970.5A priority Critical patent/CN116366959B/zh
Publication of CN116366959A publication Critical patent/CN116366959A/zh
Application granted granted Critical
Publication of CN116366959B publication Critical patent/CN116366959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明提供了一种超低延时的EPTZ摄像方法及设备，所述方法包括利用图像传感器输出视频图像数据流Sensor_stream；获取控制指令，生成感兴趣区域ROI帧同步信号ROI_sync(RS)，控制指令包括感兴趣区域ROI的顶行ROI_top(RT)的目标位置RT_target和感兴趣区域ROI的顶行ROI_top(RT)的每帧移动步长RT_step；在保持感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整视频图像数据流Sensor_stream的帧周期；将视频图像数据Sensor_stream进行缓存，根据感兴趣区域ROI帧同步信号ROI_sync(RS)以及感兴趣区域ROI指令读出相应的视频图像数据Sensor_stream并生成感兴趣区域ROI图像数据ROI_stream；根据感兴趣区域ROI图像数据ROI_stream，将感兴趣区域ROI图像数据ROI_stream缩放成显示图像数据Display_stream。本发明仅需要1行以内的图像缓存延时，缩短了图像缓存延时。

Description

一种超低延时的EPTZ摄像方法及设备
技术领域
本发明涉及视频通信、视频监控、计算机视觉、医疗图像和车载图像技术领域，具体涉及一种超低延时的EPTZ摄像方法及设备。
背景技术
EPTZ摄像机通过改变感兴趣区域ROI和数字缩放的方法实现PTZ功能，为了保证EPTZ摄像机输出的视频码流的帧同步稳定，现有技术在DDR写满一帧数据时才开始读出感兴趣区域ROI的top行数据，这样造成的图像延时在一帧之内；当感兴趣区域ROI的顶行ROI_top(RT)与Sensor_top(ST)为同一行时，该延时为1个帧周期，因此现有现有技术存在的技术问题为：附加了过长的图像延时。
发明内容
针对上述技术问题，本发明的目的在于提供了一种超低延时的EPTZ摄像方法及设备，保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，以确保在所述感兴趣区域ROI帧同步信号ROI_sync(RS)到来时所述视频图像数据流Sensor_stream中所述感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕，仅需要1行以内的图像缓存延时，缩短了图像缓存延时。
为实现以上目的，本发明通过以下技术方案予以实现：
本发明提供了一种超低延时的EPTZ摄像方法，包括：
利用图像传感器把光信号转化为电信号并输出视频图像数据流Sensor_stream；
获取控制指令，生成感兴趣区域ROI同步信号ROI_sync(RS)，其中，所述控制指令包括感兴趣区域ROI的顶行ROI_top(RT)的目标位置RT_target和所述感兴趣区域ROI的顶行ROI_top(RT)的每帧移动步长RT_step；
根据所述视频图像数据流Sensor_stream和感兴趣区域ROI帧同步信号ROI_sync(RS)，在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，以确保在所述感兴趣区域ROI帧同步信号ROI_sync(RS)到来时所述视频图像数据流Sensor_stream中所述感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕；
将所述视频图像数据Sensor_stream进行缓存，并根据感兴趣区域ROI帧同步信号ROI_sync(RS)以及感兴趣区域ROI指令读出相应的视频图像数据Sensor_stream并生成感兴趣区域ROI图像数据ROI_stream；
根据所述感兴趣区域ROI图像数据ROI_stream，将所述感兴趣区域ROI图像数据ROI_stream缩放成显示图像数据Display_stream。
优选地，当所述图像传感器工作于主模式master模式时，输出帧同步信号Sensor_sync(SS)；
当所述图像传感器工作于从模式slave模式时，获取触发控制信号Sensor_trigger(ST)，用于触发曝光和数据读出。
优选地，当所述图像传感器工作于主模式master模式时，从视频图像数据流Sensor_stream中提取同步字并生成帧同步信号Sensor_sync(SS)。
优选地，所述在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，具体实施步骤包括：
(1)感兴趣区域ROI帧同步信号ROI_sync(RS)有效；
(2)如果感兴趣区域ROI顶行目标位置RT_target等于感兴趣区域ROI顶行当前位置RT_current则进入步骤(9)，否则进入步骤(3)；
(3)如果感兴趣区域ROI顶行位置调整步长RT_step大于步长最大值Step_max则进入步骤(4)，否则进入步骤(5)；
(4)Delta_target＝RT_target–RT_current；
其中Delta_target表示感兴趣区域ROI顶行位置离目标剩余距离；
(5)RT_step＝Step_max；
(6)如果Delta_target的绝对值大于Step_max则进入步骤(8)，否则进入步骤(7)；
(7)S_total＝R_total–Delta_traget；RT_current＝RT_target；
其中S_total表示Sensor(图像传感器)帧周期，R_total表示感兴趣区域ROI帧周期；
(8)S_total＝R_total–RT_step；RT_current＝RT_current+RT_step；
(9)S_totol＝R_total；
(10)等待ROI_sync(RS)。
优选地，所述Step_max的计算方法包括：
Expoture_free＝S_total–Expoture_duration；
Readout_free＝S_total–Readout_duration；
Step_max＝min(Expoture_free，Readout_free)；
其中Expoture_free为非曝光时间，Readout_free为非读出时间，Expoture_duration为图像传感器的曝光时间，Readout_duration为图像传感器的数据读出时间，min(X，Y)表示取X和Y的最小值。
一种超低延时的EPTZ摄像设备，应用于所述的超低延时的EPTZ摄像方法，包括：
视频图像单元，用于利用图像传感器把光信号转化为电信号并输出视频图像数据流Sensor_stream；
同步控制单元，用于获取控制指令，生成感兴趣区域ROI帧同步信号ROI_sync(RS)，其中，根据所述视频图像数据流Sensor_stream和感兴趣区域ROI
帧同步信号ROI_sync(RS)，在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，以确保在所述感兴趣区域ROI帧同步信号ROI_sync(RS)到来时所述视频图像数据流Sensor_stream中第感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕；
EPTZ控制单元，用于发出所述控制指令和感兴趣区域ROI指令，所述控制指令包括感兴趣区域ROI的顶行ROI_top(RT)的目标位置RT_target和感兴趣区域ROI的顶行ROI_top(RT)的每帧移动步长RT_step；
读写控制单元，用于接收来自所述图像传感器的图像数据Sensor_stream并写入图像缓存单元进行缓存，接收来自所述同步控制单元的感兴趣区域ROI帧同步信号ROI_sync(RS)和来自所述EPTZ控制单元的感兴趣区域ROI指令从所述图像缓存单元读出相应的图像数据并生成感兴趣区域ROI图像数据ROI_stream；
数字缩放单元，用于根据所述感兴趣区域ROI图像数据ROI_stream，将所述感兴趣区域ROI图像数据ROI_stream缩放成显示图像数据Display_stream。
优选地，所述图像传感器还用于：
当所述图像传感器工作于主模式master模式时，输出帧同步信号Sensor_sync(SS)；
当所述图像传感器工作于从模式slave模式时，获取触发控制信号Sensor_trigger(ST)，用于触发曝光和数据读出。
优选地，所述设备还包括：
帧同步提取单元，用于当所述图像传感器工作于主模式master模式时，从视频图像数据流Sensor_stream中提取同步字并生成帧同步信号Sensor_sync(SS)。
优选地，所述同步控制单元用于所述在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，具体实施步骤包括：
(1)ROI_sync(RS)有效；
(2)如果RT_target等于RT_current则进入步骤(9)，否则进入步骤(3)；
(3)如果RT_step大于Step_max则进入步骤(4)，否则进入步骤(5)；
(4)Delta_target＝RT_target–RT_current；
(5)RT_step＝Step_max；
(6)如果Delta_target的绝对值大于Step_max则进入步骤(8)，否则进入步骤(7)；
(7)S_total＝R_total–Delta_traget；RT_current＝RT_target；
(8)S_total＝R_total–RT_step；RT_current＝RT_current+RT_step；
(9)S_totol＝R_total；
(10)等待ROI_sync(RS)。
优选地，所述同步控制单元还包括：
计算单元，用于计算所述Step_max，所述Step_max的计算方法包括：
Expoture_free＝S_total–Expoture_duration；
Readout_free＝S_total–Readout_duration；
Step_max＝min(Expoture_free，Readout_free)；
其中Expoture_duration为图像传感器的曝光时间，Readout_duration为图像传感器的数据读出时间，min(X，Y)表示取X和Y的最小值。
与现有技术相比，本发明的有益效果为：本发明提供了一种超低延时的EPTZ摄像方法及设备，包括利用图像传感器把光信号转化为电信号并输出视频图像数据流Sensor_stream；获取控制指令，生成感兴趣区域ROI帧同步信号ROI_sync(RS)，其中，所述控制指令包括感兴趣区域ROI的顶行ROI_top(RT)的目标位置RT_target和所述感兴趣区域ROI的顶行ROI_top(RT)的每帧移动步长RT_step；根据所述视频图像数据流Sensor_stream和ROI帧同步信号ROI_sync(RS)，在保持所述ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，以确保在所述感兴趣区域ROI帧同步信号ROI_sync(RS)到来时所述视频图像数据流Sensor_stream中所述感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕；将所述视频图像数据Sensor_stream进行缓存，并根据感兴趣区域ROI帧同步信号ROI_sync(RS)以及感兴趣区域ROI指令读出相应的视频图像数据Sensor_stream并生成感兴趣区域ROI图像数据ROI_stream；根据所述感兴趣区域ROI图像数据ROI_stream，将所述感兴趣区域ROI图像数据ROI_stream缩放成显示图像数据Display_stream，仅需要1行以内的图像缓存延时，缩短了图像缓存延时。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为现有技术中EPTZ摄像设备工作原理示意图；
图2为现有技术中采用(图像传感器)主Sensor master同步方式时，EPTZ摄像设备工作原理示意图；
图3为现有技术中采用(图像传感器)从Sensor slave同步方式时，EPTZ摄像设备工作原理示意图；
图4为本发明实施例提供的图像传感器工作于master模式时，超低延时的EPTZ摄像设备工作原理示意图；
图5为本发明实施例提供的图像传感器工作于master模式时动态调整Sensor_stream的帧周期的时序图；
图6为本发明实施例提供的增加帧同步提取单元的基础上超低延时的EPTZ摄像设备在图像传感器工作于slave模式的工作原理示意图；
图7为本发明实施例提供的图像传感器工作于slave模式时，超低延时的EPTZ摄像设备的工作原理示意图；
图8为本发明实施例提供的图像传感器工作于master模式时，动态调整Sensor_stream的帧周期的时序图；
图9为本发明实施例提供同步控制单元与EPTZ控制单元的指令传输示意图；
图10为本发明实施例提供同步控制单元动态调整sensor_stream的帧周期技术原理示意图。
具体实施方式
为使本发明实现的技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和出示的本发明实施例的组件可以以各种不同的配置来布置和设计。
在视频通信、视频监控、计算机视觉、医疗图像、车载图像的应用中广泛采用PTZ摄像机。其中P是Pan的缩写，意为水平摇摄；T为Tilt的缩写，意为竖向摇摄；Z为Zoom的缩写，意为推拉拍摄。PTZ的实现方式有手动(Manual)、电动(Motorized)、电子(Electronic)。其中电子PTZ缩写为ePTZ或EPTZ。
手动PTZ和电动PTZ通过改变镜头的方位角和焦距来实现PTZ功能，EPTZ不改变镜头的方位角和焦距，而是通过改变ROI和数字缩放的方法实现PTZ，其中ROI是RegionofInterest的缩写，意为感兴趣区域ROI。
现有技术中参考图1所示，在EPTZ过程中，通过逐帧增加或减小水平偏移量H_offset实现水平摇摄(Pan)的功能，通过逐帧增加或减小垂直偏移量V_offset实现竖向摇摄(Tilt)的功能,通过逐帧增加或减小水平尺寸H_size和垂直尺寸V_size并保持水平尺寸H_size:垂直尺寸V_size的比值不变实现推拉拍摄(Zoom)的功能。
现有技术一，采用(图像传感器)主Sensor master同步方式，延时一帧。
参考图2所示，现有技术一采用Sensor master同步方式，意为图像传感器帧同步信号Sensor_Sync(SS)由图像传感器Sensor产生，不受外部控制。Sensor_Stream是Sensor输出的视频数据流，其中还包括了帧同步码。为了实现在EPTZ过程中显示图像数据流Display_Stream的帧同步稳定，同步控制器产生ROI_Sync(RS)，配合读出控制器，必须保证：
Sensor_Stream、ROI_Stream、Display_Stream三者的帧周期一致，即图4中的ROI帧周期R_total＝Sensor(图像传感器)帧周期S_total；
图2中ROI同步信号ROI_Sync(RS)与(图像传感器)同步信号Sensor_Sync(SS)的相位差稳定。
为了实现以上两个目标，现有技术一在DDR写满一帧图像时才开始读出ROI数据。
从图2中可以看出：
ROI_top(RT)那一行图像数据从写入图像缓存DDR到读出DDR的延时在一帧之内；
当ROI_top(RT)与Sensor_top(ST)为同一行时，该延时为1个帧周期。
现有技术二，采用(图像传感器)从Sensor slave同步方式，延时一帧。
参考图3所示，现有技术二采用Sensor slave同步方式，意为帧同步信号Sensor_trigger由同步控制器产生。为了实现在EPTZ过程中Display_Stream的帧同步稳定，同步控制器产生ROI_Sync(RS)，配合读出控制器，必须保证：
Sensor_Stream、ROI_Stream、Display_Stream三者的帧周期一致，即图3中的R_total＝S_total；
图3中ROI_Sync(RS)与Sensor_Sync(SS)的相位差稳定。
为了实现以上两个目标，现有技术二在DDR写满一帧图像时才开始读出ROI数据。从图3中可以看出：
ROI顶行位置ROI_top(RT)那一行图像数据从写入DDR到读出DDR的延时在一帧之内；
当ROI_top(RT)与Sensor顶行位置Sensor_top(ST)为同一行时，该延时为1个帧周期。
本发明提供了一种超低延时的EPTZ摄像方法，包括：
利用图像传感器把光信号转化为电信号并输出视频图像数据流Sensor_stream；
获取控制指令，生成感兴趣区域ROI同步信号ROI_sync(RS)，其中，所述控制指令包括感兴趣区域ROI的顶行ROI_top(RT)的目标位置RT_target和所述感兴趣区域ROI的顶行ROI_top(RT)的每帧移动步长RT_step；
根据所述视频图像数据流Sensor_stream和感兴趣区域ROI帧同步信号ROI_sync(RS)，在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，以确保在所述感兴趣区域ROI帧同步信号ROI_sync(RS)到来时所述视频图像数据流Sensor_stream中所述感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕；
将所述视频图像数据Sensor_stream进行缓存，并根据感兴趣区域ROI帧同步信号ROI_sync(RS)以及感兴趣区域ROI指令读出相应的视频图像数据Sensor_stream并生成感兴趣区域ROI图像数据ROI_stream；
根据所述感兴趣区域ROI图像数据ROI_stream，将所述感兴趣区域ROI图像数据ROI_stream缩放成显示图像数据Display_stream。
进一步地，当所述图像传感器工作于主模式master模式时，输出帧同步信号Sensor_sync(SS)；
当所述图像传感器工作于从模式slave模式时，获取触发控制信号Sensor_trigger(ST)，用于触发曝光和数据读出。
进一步地，当所述图像传感器工作于主模式master模式时，从视频图像数据流Sensor_stream中提取同步字并生成帧同步信号Sensor_sync(SS)。
进一步地，所述在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，具体实施步骤包括：
(1)感兴趣区域ROI帧同步信号ROI_sync(RS)有效；
(2)如果感兴趣区域ROI顶行目标位置RT_target等于ROI顶行当前位置RT_current则进入步骤(9)，否则进入步骤(3)；
(3)如果感兴趣区域ROI顶行位置调整步长RT_step大于步长最大值Step_max则进入步骤(4)，否则进入步骤(5)；
(4)Delta_target＝RT_target–RT_current；
其中Delta_target表示感兴趣区域ROI顶行位置离目标剩余距离；
(5)RT_step＝Step_max；
(6)如果Delta_target的绝对值大于Step_max则进入步骤(8)，否则进入步骤(7)；
(7)S_total＝R_total–Delta_traget；RT_current＝RT_target；
其中S_total表示Sensor(图像传感器)帧周期，R_total表示ROI帧周期；
(8)S_total＝R_total–RT_step；RT_current＝RT_current+RT_step；
(9)S_totol＝R_total；
(10)等待ROI_sync(RS)。
进一步地，所述Step_max的计算方法包括：
Expoture_free＝S_total–Expoture_duration；
Readout_free＝S_total–Readout_duration；
Step_max＝min(Expoture_free，Readout_free)；
其中Expoture_free为非曝光时间，Readout_free为非读出时间，Expoture_duration为图像传感器的曝光时间，Readout_duration为图像传感器的数据读出时间，min(X，Y)表示取X和Y的最小值。
一种超低延时的EPTZ摄像设备，应用于所述的超低延时的EPTZ摄像方法，包括：
视频图像单元，用于利用图像传感器把光信号转化为电信号并输出视频图像数据流Sensor_stream；
同步控制单元，用于获取控制指令，生成感兴趣区域ROI帧同步信号ROI_sync(RS)，其中，根据所述视频图像数据流Sensor_stream和感兴趣区域ROI帧同步信号ROI_sync(RS)，在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，以确保在所述感兴趣区域ROI帧同步信号ROI_sync(RS)到来时所述视频图像数据流Sensor_stream中第感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕；
EPTZ控制单元，用于发出所述控制指令和感兴趣区域ROI指令，所述控制指令包括感兴趣区域ROI的顶行ROI_top(RT)的目标位置RT_target和感兴趣区域ROI的顶行ROI_top(RT)的每帧移动步长RT_step；
读写控制单元，用于接收来自所述图像传感器的图像数据Sensor_stream并写入图像缓存单元进行缓存，接收来自所述同步控制单元的感兴趣区域ROI帧同步信号ROI_sync(RS)和来自所述EPTZ控制单元的感兴趣区域ROI指令从所述图像缓存单元读出相应的图像数据并生成感兴趣区域ROI图像数据ROI_stream；
数字缩放单元，用于根据所述感兴趣区域ROI图像数据ROI_stream，将所述感兴趣区域ROI图像数据ROI_stream缩放成显示图像数据Display_stream。
参考图4所示，本发明实施例一公开了一种超低延时的PTZ摄像设备，包括图像传感器、图像缓存单元、读写控制单元、同步控制单元、EPTZ控制单元、数字缩放单元；所述图像传感器把光信号转化为电信号并输出视频图像数据流Sensor_stream，所述图像传感器工作于master模式并输出帧同步信号Sensor_sync(SS)，所述图像传感器接收来自所述同步控制单元的控制数据用于动态调整Sensor_stream的帧周期；所述同步控制单元接收来自所述EPTZ控制单元的指令和来自所述图像传感器的帧同步信号Sensor_sync(SS)，生成ROI帧同步信号ROI_sync(RS)，并通过SPI或IIC控制接口动态调整Sensor_stream的帧周期，在保持ROI_sync(RS)的帧周期稳定不变的同时动态调整sensor_stream的帧周期，以确保在ROI_sync(RS)到来时Sensor_stream中第感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕；读写控制单元接收来自所述图像传感器的图像数据Sensor_stream并写入所述图像缓存单元，接收来自所述同步控制单元的ROI帧同步信号ROI_sync(RS)和来自所述EPTZ控制单元的ROI指令从所述图像缓存单元读出相应的图像数据并生成ROI图像数据ROI_stream；所述数字缩放单元把来自所述对象控制单元的ROI_stream缩放成显示图像数据Display_stream。
参考图5所示，ROI_stream的帧中期R_total保持稳定，在ROI_sync(RS)到来时Sensor_stream中感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕。以1080p图像格式为例，R_total＝1125行，通过动态调整Sensor_stream的帧周期，可以保证感兴趣区域ROI的顶行ROI_top(RT)行数据从写入缓存到读出缓存的延时不超过1行的时间。
参考图6所示，本发明实施例二采用的图像传感器没有专门的帧同步输出，需要增加帧同步提取单元，所述帧同步提取单元从视频图像数据流Sensor_stream中提取同步字并生成帧同步信号Sensor_sync(SS)，其它特征都与本发明实施例一相同。
参考图7所示，本发明实施例三公开了一种超低延时的PTZ摄像设备和方法，包括图像传感器、图像缓存单元、读写控制单元、同步控制单元、EPTZ控制单元、数字缩放单元；所述图像传感器把光信号转化为电信号并输出视频图像数据流Sensor_stream，所述图像传感器工作于slave模式，并接收来自所述同步控制单元的触发控制信号Sensor_trigger(ST)用于触发曝光和数据读出；所述同步控制单元接收来自所述EPTZ控制单元的指令,生成ROI帧同步信号ROI_sync(RS),在保持ROI_sync(RS)的帧周期稳定不变的同时动态调整sensor_stream的帧周期，以确保在ROI_sync(RS)到来时Sensor_stream中第感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕；读写控制单元接收来自所述图像传感器的图像数据Sensor_stream并写入所述图像缓存单元，接收来自所述同步控制单元的ROI帧同步信号ROI_sync(RS)和来自所述EPTZ控制单元的ROI指令从所述图像缓存单元读出相应的图像数据并生成ROI图像数据ROI_stream；所述数字缩放单元把来自所述对象控制单元的ROI_stream缩放成显示图像数据Display_stream。
参考图8所示，ROI_stream的帧中期R_total保持稳定，在ROI_sync(RS)到来时Sensor_stream中感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕。以1080p图像格式为例，R_total＝1125行，通过动态调整Sensor_trigger和Sensor_stream的帧周期，可以保证感兴趣区域ROI的顶行ROI_top(RT)行数据从写入缓存到读出缓存的延时不超过1行的时间。
进一步地，所述图像传感器还用于：
当所述图像传感器工作于主模式master模式时，输出帧同步信号Sensor_sync(SS)；
当所述图像传感器工作于从模式slave模式时，获取触发控制信号Sensor_trigger(ST)，用于触发曝光和数据读出。
进一步地，所述设备还包括：
帧同步提取单元，用于当所述图像传感器工作于主模式master模式时，从视频图像数据流Sensor_stream中提取同步字并生成帧同步信号Sensor_sync(SS)。
进一步地，所述同步控制单元用于所述在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，具体实施步骤包括：
(1)ROI_sync(RS)有效；
(2)如果RT_target等于RT_current则进入步骤(9)，否则进入步骤(3)；
(3)如果RT_step大于Step_max则进入步骤(4)，否则进入步骤(5)；
(4)Delta_target＝RT_target–RT_current；
(5)RT_step＝Step_max；
(6)如果Delta_target的绝对值大于Step_max则进入步骤(8)，否则进入步骤(7)；
(7)S_total＝R_total–Delta_traget；RT_current＝RT_target；
(8)S_total＝R_total–RT_step；RT_current＝RT_current+RT_step；
(9)S_totol＝R_total；
(10)等待ROI_sync(RS)。
进一步地，所述同步控制单元还包括：
计算单元，用于计算所述Step_max，所述Step_max的计算方法包括：
Expoture_free＝S_total–Expoture_duration；
Readout_free＝S_total–Readout_duration；
Step_max＝min(Expoture_free，Readout_free)；
其中Expoture_duration为图像传感器的曝光时间，Readout_duration为图像传感器的数据读出时间，min(X，Y)表示取X和Y的最小值。
与现有技术相比，本发明的有益效果为：本发明提供了一种超低延时的EPTZ摄像方法及设备，包括利用图像传感器把光信号转化为电信号并输出视频图像数据流Sensor_stream；获取控制指令，生成感兴趣区域ROI帧同步信号ROI_sync(RS)，其中，所述控制指令包括感兴趣区域ROI的顶行ROI_top(RT)的目标位置RT_target和所述感兴趣区域ROI的顶行ROI_top(RT)的每帧移动步长RT_step；根据所述视频图像数据流Sensor_stream和ROI帧同步信号ROI_sync(RS)，在保持所述ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，以确保在所述感兴趣区域ROI帧同步信号ROI_sync(RS)到来时所述视频图像数据流Sensor_stream中所述感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕；将所述视频图像数据Sensor_stream进行缓存，并根据感兴趣区域ROI帧同步信号ROI_sync(RS)以及感兴趣区域ROI指令读出相应的视频图像数据Sensor_stream并生成感兴趣区域ROI图像数据ROI_stream；根据所述感兴趣区域ROI图像数据ROI_stream，将所述感兴趣区域ROI图像数据ROI_stream缩放成显示图像数据Display_stream，仅需要1行以内的图像缓存延时，缩短了图像缓存延时。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种超低延时的EPTZ摄像方法，其特征在于，包括：
利用图像传感器把光信号转化为电信号并输出视频图像数据流Sensor_stream；
获取控制指令，生成感兴趣区域ROI帧同步信号ROI_sync(RS)，其中，所述控制指令包括感兴趣区域ROI的顶行ROI_top(RT)的目标位置RT_target和所述感兴趣区域ROI的顶行ROI_top(RT)的每帧移动步长RT_step；
根据所述视频图像数据流Sensor_stream和感兴趣区域ROI帧同步信号ROI_sync(RS)，在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，以确保在所述感兴趣区域ROI帧同步信号ROI_sync(RS)到来时所述视频图像数据流Sensor_stream中所述感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕；
将所述视频图像数据流Sensor_stream进行缓存，并根据感兴趣区域ROI帧同步信号ROI_sync(RS)以及感兴趣区域ROI指令读出相应的视频图像数据流Sensor_stream并生成感兴趣区域ROI图像数据ROI_stream；
根据所述感兴趣区域ROI图像数据ROI_stream，将所述感兴趣区域ROI图像数据ROI_stream缩放成显示图像数据Display_stream。
2.根据权利要求1所述的超低延时的EPTZ摄像方法，其特征在于，当所述图像传感器工作于主模式master模式时，输出帧同步信号Sensor_sync(SS)；
当所述图像传感器工作于从模式slave模式时，获取触发控制信号Sensor_trigger(ST)，用于触发曝光和数据读出。
3.根据权利要求2所述的超低延时的EPTZ摄像方法，其特征在于，当所述图像传感器工作于主模式master模式时，从视频图像数据流Sensor_stream中提取同步字并生成帧同步信号Sensor_sync(SS)。
4.根据权利要求1所述的超低延时的EPTZ摄像方法，其特征在于，所述在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，具体实施步骤包括：
(1)感兴趣区域ROI帧同步信号ROI_sync(RS)有效；
(2)如果感兴趣区域ROI顶行目标位置RT_target等于感兴趣区域ROI顶行当前位置RT_current则进入步骤(9)，否则进入步骤(3)；
(3)如果感兴趣区域ROI顶行位置调整步长RT_step大于步长最大值Step_max则进入步骤(4)，否则进入步骤(5)；
(4)Delta_target＝RT_target–RT_current；
其中Delta_target表示感兴趣区域ROI顶行位置离目标剩余距离；
(5)RT_step＝Step_max；
(6)如果Delta_target的绝对值大于Step_max则进入步骤(8)，否则进入步骤(7)；
(7)S_total＝R_total–Delta_traget；RT_current＝RT_target；
其中S_total表示Sensor(图像传感器)帧周期，R_total表示感兴趣区域ROI帧周期；
(8)S_total＝R_total–RT_step；RT_current＝RT_current+RT_step；
(9)S_total＝R_total；
(10)等待ROI_sync(RS)。
5.根据权利要求4所述的超低延时的EPTZ摄像方法，其特征在于，所述Step_max的计算方法包括：
Expoture_free＝S_total–Expoture_duration；
Readout_free＝S_total–Readout_duration；
Step_max＝min(Expoture_free，Readout_free)；
其中Expoture_free为非曝光时间，Readout_free为非读出时间，Expoture_duration为图像传感器的曝光时间，Readout_duration为图像传感器的数据读出时间，min(X，Y)表示取X和Y的最小值。
6.一种超低延时的EPTZ摄像设备，应用于权利要求1～5任一项所述的超低延时的EPTZ摄像方法，其特征在于，包括：
视频图像单元，用于利用图像传感器把光信号转化为电信号并输出视频图像数据流Sensor_stream；
同步控制单元，用于获取控制指令，生成感兴趣区域ROI帧同步信号ROI_sync(RS)，其中，根据所述视频图像数据流Sensor_stream和感兴趣区域ROI帧同步信号ROI_sync(RS)，在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，以确保在所述感兴趣区域ROI帧同步信号ROI_sync(RS)到来时所述视频图像数据流Sensor_stream中所述感兴趣区域ROI的顶行ROI_top(RT)行数据刚好传输完毕；
EPTZ控制单元，用于发出所述控制指令和感兴趣区域ROI指令，所述控制指令包括感兴趣区域ROI的顶行ROI_top(RT)的目标位置RT_target和感兴趣区域ROI的顶行ROI_top(RT)的每帧移动步长RT_step；
读写控制单元，用于接收来自所述图像传感器的图像数据Sensor_stream并写入图像缓存单元进行缓存，接收来自所述同步控制单元的感兴趣区域ROI帧同步信号ROI_sync(RS)和来自所述EPTZ控制单元的感兴趣区域ROI指令从所述图像缓存单元读出相应的图像数据并生成感兴趣区域ROI图像数据ROI_stream；
数字缩放单元，用于根据所述感兴趣区域ROI图像数据ROI_stream，将所述感兴趣区域ROI图像数据ROI_stream缩放成显示图像数据Display_stream。
7.根据权利要求6所述的超低延时的EPTZ摄像设备，其特征在于，所述图像传感器还用于：
当所述图像传感器工作于主模式master模式时，输出帧同步信号Sensor_sync(SS)；
当所述图像传感器工作于从模式slave模式时，获取触发控制信号Sensor_trigger(ST)，用于触发曝光和数据读出。
8.根据权利要求7所述的超低延时的EPTZ摄像设备，其特征在于，所述设备还包括：
帧同步提取单元，用于当所述图像传感器工作于主模式master模式时，从视频图像数据流Sensor_stream中提取同步字并生成帧同步信号Sensor_sync(SS)。
9.根据权利要求8所述的超低延时的EPTZ摄像设备，其特征在于，所述同步控制单元用于所述在保持所述感兴趣区域ROI帧同步信号ROI_sync(RS)的帧周期稳定不变的同时动态调整所述视频图像数据流Sensor_stream的帧周期，具体实施步骤包括：
(1)ROI_sync(RS)有效；
(2)如果RT_target等于RT_current则进入步骤(9)，否则进入步骤(3)；
(3)如果RT_step大于Step_max则进入步骤(4)，否则进入步骤(5)；
(4)Delta_target＝RT_target–RT_current；
(5)RT_step＝Step_max；
(6)如果Delta_target的绝对值大于Step_max则进入步骤(8)，否则进入步骤(7)；
(7)S_total＝R_total–Delta_traget；RT_current＝RT_target；
(8)S_total＝R_total–RT_step；RT_current＝RT_current+RT_step；
(9)S_total＝R_total；
(10)等待ROI_sync(RS)。
10.根据权利要求9所述的超低延时的EPTZ摄像设备，其特征在于，所述同步控制单元还包括：
计算单元，用于计算所述Step_max，所述Step_max的计算方法包括：
Expoture_free＝S_total–Expoture_duration；
Readout_free＝S_total–Readout_duration；
Step_max＝min(Expoture_free，Readout_free)；
其中Expoture_duration为图像传感器的曝光时间，Readout_duration为图像传感器的数据读出时间，min(X，Y)表示取X和Y的最小值。
CN202310395970.5A 2023-04-14 2023-04-14 一种超低延时的eptz摄像方法及设备 Active CN116366959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310395970.5A CN116366959B (zh) 2023-04-14 2023-04-14 一种超低延时的eptz摄像方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310395970.5A CN116366959B (zh) 2023-04-14 2023-04-14 一种超低延时的eptz摄像方法及设备

Publications (2)

Publication Number Publication Date
CN116366959A CN116366959A (zh) 2023-06-30
CN116366959B true CN116366959B (zh) 2024-02-06

Family

ID=86916268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310395970.5A Active CN116366959B (zh) 2023-04-14 2023-04-14 一种超低延时的eptz摄像方法及设备

Country Status (1)

Country Link
CN (1) CN116366959B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801963A (zh) * 2012-08-27 2012-11-28 北京尚易德科技有限公司 基于高清数字摄像头监控的电子ptz方法及装置
CN103095997A (zh) * 2013-02-25 2013-05-08 袁琦睦 基于fpga的实时画中画产生方法及其装置
CN115918101A (zh) * 2020-10-08 2023-04-04 索尼半导体解决方案公司 摄像装置、信息处理装置、摄像系统和摄像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050248676A1 (en) * 2004-05-08 2005-11-10 Mark Christenson High-speed frame transfer of sub-frame area

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801963A (zh) * 2012-08-27 2012-11-28 北京尚易德科技有限公司 基于高清数字摄像头监控的电子ptz方法及装置
CN103095997A (zh) * 2013-02-25 2013-05-08 袁琦睦 基于fpga的实时画中画产生方法及其装置
CN115918101A (zh) * 2020-10-08 2023-04-04 索尼半导体解决方案公司 摄像装置、信息处理装置、摄像系统和摄像方法

Also Published As

Publication number Publication date
CN116366959A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US9019387B2 (en) Imaging device and method of obtaining image
US10218907B2 (en) Image processing apparatus and control method detection and correction of angular movement due to shaking
JP6124538B2 (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP5950678B2 (ja) 撮像装置、制御方法、及びプログラム
US9413923B2 (en) Imaging apparatus
JP2010114834A (ja) 撮像装置
KR101589013B1 (ko) 플래시 발광 제어 방법 및 장치
KR20170006201A (ko) 촬영 장치 및 그 동작 방법
JP2010160311A (ja) 撮像装置
KR20050043615A (ko) 프레임 그래버
US10659692B2 (en) Image blur correction device, imaging apparatus, control method of imaging apparatus and non-transitory storage medium
JP6985898B2 (ja) 撮像装置及び表示方法
CN116366959B (zh) 一种超低延时的eptz摄像方法及设备
US8692926B2 (en) Focus adjustment based on indicator of randomness of pixel values
JP3937924B2 (ja) 撮像装置及びその制御方法
JP2004172845A (ja) 撮像装置
JP4859274B2 (ja) 投影可能な被写体ビューファインダを生成するための方法および装置
JP6728010B2 (ja) 撮像装置及び撮像装置の制御方法
US11356603B2 (en) Image capturing apparatus and control method therefor
JP2006325243A (ja) 撮像装置
JP2781936B2 (ja) 映像信号処理装置
JP2015104003A (ja) 画像表示方法、イメージセンサ及び撮像装置
JP2007134886A (ja) ビデオカメラシステムおよび撮像ノイズ除去方法
JP7214424B2 (ja) 撮像装置およびその制御方法
JP6800693B2 (ja) 撮像装置及び撮像装置の駆動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant