CN112995761A - 一种目标检测结果与图像原始数据混合传输方法 - Google Patents

一种目标检测结果与图像原始数据混合传输方法 Download PDF

Info

Publication number
CN112995761A
CN112995761A CN202110249384.0A CN202110249384A CN112995761A CN 112995761 A CN112995761 A CN 112995761A CN 202110249384 A CN202110249384 A CN 202110249384A CN 112995761 A CN112995761 A CN 112995761A
Authority
CN
China
Prior art keywords
data
detection result
target detection
image
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110249384.0A
Other languages
English (en)
Inventor
王彦之
石锡敏
何庆华
陈锦涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharpvision Co ltd
Original Assignee
Sharpvision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharpvision Co ltd filed Critical Sharpvision Co ltd
Priority to CN202110249384.0A priority Critical patent/CN112995761A/zh
Publication of CN112995761A publication Critical patent/CN112995761A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开一种目标检测结果与图像原始数据混合传输方法,对图像中的目标检测结果数据进行编码,并将编码后的目标检测结果数据覆盖至将要传输的图像的若干行像素,或若干列像素中,形成目标检测结果与图像原始的混合数据,将该混合数据通过数模转换的方式转换为模拟数据进行传输,对接收到的目标检测结果与图像原始的混合模拟数据通过模数转换的方式转换为数字数据,提取目标检测结果与图像原始的混合数字数据中的目标检测结果数据进行解码,还原目标检测结果数据,同时,将目标检测结果数据覆盖的相应的行或列,从接收到的图像像素数据中剔除,获取原始的图像数据。

Description

一种目标检测结果与图像原始数据混合传输方法
技术领域
本发明涉及数据传输技术领域,具体为一种目标检测结果与图像原始数据混合传输方法。
背景技术
传统应用于车载场合的带有图像目标识别能力的摄像头或者前端图像采集设备,通常能够对其关注的特定的目标,进行识别,并确定目标在画面中的区域范围;然后,分别将图像原始像素数据转换为模拟信号并通过模拟线路接口,和目标检测结果数据通过扩展总线(CAN总线)的方式传输至后端车载图像集成系统(如车载全景360,或者车载 MDVR )。由后端车载图像集成系统分别对图像像素数据和目标检测结果数据进行融合显示图像。然而,上述方式由于图像像素数据和目标检测结果数据是分开不同物理路径进行传输的,这会导致在后端车载图像集成系统接收两条路径的数据并进行图像处理融合显示时,两条路径对应数据难以在时间上进行匹配,并保持同步,将严重影响用户对目标物体的判断;同时,采用两条路径的总线进行图像数据传输,增加了材料成本,以及大大增加了安装布线的复杂度。
发明内容
本发明的目的在于提供一种能够将原始图像像素非结构化数据和相关图像对应的目标检测结果等结构化数据,进行相互混合叠加,并通过模拟线路进行传输的目标检测结果与图像原始数据混合传输方法。
一种目标检测结果与图像原始数据混合传输方法,包括:
对图像中的目标检测结果数据进行编码,并将编码后的目标检测结果数据覆盖至将要传输的图像的若干行像素,或若干列像素中,形成目标检测结果与图像原始的混合数据,将该混合数据通过数模转换的方式转换为模拟数据进行传输;
对接收到的目标检测结果与图像原始的混合模拟数据通过模数转换的方式转换为数字数据;
提取目标检测结果与图像原始的混合数字数据中的目标检测结果数据进行解码,还原目标检测结果数据,同时,将目标检测结果数据覆盖的相应的行或列,从接收到的图像像素数据中剔除,获取原始的图像数据。
本发明所述的目标检测结果与图像原始数据混合传输方法,通过对图像中的目标检测结果数据进行编码,并将编码后的目标检测结果数据覆盖至将要传输的图像的若干行像素,或若干列像素中,形成目标检测结果与图像原始的混合数据,将该混合数据通过数模转换的方式转换为模拟数据进行传输,对接收到的目标检测结果与图像原始的混合模拟数据通过模数转换的方式转换为数字数据,提取目标检测结果与图像原始的混合数字数据中的目标检测结果数据进行解码,还原目标检测结果数据,同时,将目标检测结果数据覆盖的相应的行或列,从接收到的图像像素数据中剔除,获取原始的图像数据,可以将识别目标检测结果数据,与图像原始数据绑定输出,实现识别的目标与原始图像的高度同步性输出,无需额外的动作,就可获得识别的目标所对应的图像帧,从而提高视频融合显示的同步性;而且,目标检测结果与图像原始数据混合传输的方式,与传统模拟数据传输的方式相互兼容,无需引入额外的总线,进而节约了材料成本。
附图说明
图1为本发明目标检测结果与图像原始数据混合传输方法的流程示意图;
图2为目标检测结果数据在编码过程中,使用单个或若干个像素描述一个目标检测结果数据中的二进制比特数据的描述示意图;
图3为在后端解码的时候,通过检查像素对应的信号值的跳变,获取混合数据包的包头第一个bit所对应的像素串的第一个像素在图像数据行当中位置,然后以此为起点,获取前端发送过来的目标检测结果的编码数据的示意图;
图4为混合数据格式进行编码的示意图;
图5为余下数据的长度的结构组合示意图。
具体实施方式
如图1所示,一种目标检测结果与图像原始数据混合传输方法,包括:
对图像中的目标检测结果数据(即为物体检测结果数据)进行编码,并将编码后的目标检测结果数据覆盖至将要传输的图像的若干行像素,或若干列像素中,形成目标检测结果与图像原始的混合数据,将该混合数据通过数模转换的方式转换为模拟数据进行传输;
对接收到的目标检测结果与图像原始的混合模拟数据通过模数转换的方式转换为数字数据;
提取目标检测结果与图像原始的混合数字数据中的目标检测结果数据进行解码,还原目标检测结果数据,同时,将目标检测结果数据覆盖的相应的行或列,从接收到的图像像素数据中剔除,获取原始的图像数据。
模拟数据的传输协议为AHD协议或CVI协议或TVI协议或CVBS 协议。
数据传输过程中,同一帧图像的原始数据,以及相应的目标检测结果数据,相互叠加传输。实现原始图像画面与目标检测结果的同步传输,后端无需做任何同步动作。
数据传输过程中,当前帧图像的原始数据,叠加前 n 帧图像的目标检测结果数据,相互叠加传输。实现原始图像画面与目标检测结果的异步传输,模拟图像可以不用等待目标检测流程的完成,可以直接发出,达到较高的图像实时性。
目标检测结果数据在编码过程中,使用单个或若干个像素描述一个目标检测结果数据中的二进制比特数据,如图2所示,在文中将描述一个 bit 的单个或者多个像素称为像素串。由于模拟信号的电平无法瞬时突变,所以单个像素对应传输时间内,可能信号电平无法下降到期望的电平。所以,在接收端解码的时,取第 n 个,或者第 n-1个像素所对应的亮度信号的 Y 值;若它大于预设阈值,则认为整个像素串对应所描述的 bit值为 1,反之,则认为该个像素串对应的 bit 值为 0 。
当目标检测结果数据覆盖至将要传输的图像的一行,或若干行像素时,则在实际的混合数据包的包头前,用于承载目标检测结果数据的图像数据行,包含一段预设的静止信号电平数据,所述静止信号电平数据到数据包的包头的第一个比特对应的像素,包含信号跳变数据。在后端解码的时候,进行数据对齐提取。通过在将图像数据行的前若干像素,设置为某固定值(如 0 或 255 来实现);从第n个像素开始,才开始写入真正目标检测结果的数据编码。事实上,若混合数据包的包头的起始字节的第一个 bit 为 1 ,则可以将图像数据行的前若干个像素设置为0,反之,设置为 1。如图3所示,在后端解码的时候,通过检查像素对应的信号值的跳变,获取混合数据包的包头第一个bit所对应的像素串的第一个像素在图像数据行当中位置,然后以此为起点,获取前端发送过来的目标检测结果的编码数据。
目标检测结果与图像原始的混合数据,包括:数据包的包头、协议版本号、CRC校验、余下数据的长度;所述协议版本号,用于各个协议版本的兼容,采用短字节进行描述;所述CRC校验,用于对所传输的数据进行校验;所述余下数据的长度,用于对数据的长度,进行动态描述,可以预设为固定长度或根据余下数据中更为细化的参数预设长度,如图4所示。
如图5所示,余下数据的长度的结构的组合依次由原始图像画面帧序号、目标检测结果帧序号、发现目标的个数组成;所述原始图像画面帧序号为系统本帧原始画面的序号;所述目标检测结果帧序号为当前物体检测数据对应的原始画面的帧序号;所述发现目标的个数,用于描述目标检测结果中包含的目标数量;对检测到的目标的描述,包含目标的种类、目标框的左上角坐标数据、目标框的右下角坐标数据,并由目标框的左上角坐标数据、目标框的右下角坐标数据,获得目标在图像中的区域和范围。原始画面帧序号代表系统本帧原始画面的的序号,可以使用四位bit数描述,范围 (0-15),超过 15 后归 0 ,目标检测结果帧序号代表当前目标检测数据对应的原始画面的帧序号,可以使用四位bit数描述,范围 (0-15),超过 15 后归 0 ,利用以上两个序号,可以将当前帧图像的原始数据,叠加前n 帧图像的目标检测结果数据,相互叠加传输,匹配目标检测结果与对应的原始画面的帧序号。
将编码后的目标检测结果数据覆盖至将要传输的图像的若干行像素,形成目标检测结果与图像原始的混合数据,将该混合数据通过数模转换的方式转换为模拟数据在第一行,第二行,到第 n 行重复传输。在完成目标检测结果数据解码后,将数据相应的像素行直接分离抛弃。根据实际经验,图像的前几行数据在传输的过程中,有丢失的可能,模拟信号的传输,也可能发生数据错误,需要将经过编码后的目标检测的结果,在第一行,第二行,到第 n 行重复传输。
使用第一行,第二行,到第 n 行重复传输混合数据,在进行解码,还原数据时,包括,后端获取图像数据,若目标检测结果数据覆盖至将要传输的图像的行数为5行,图像的总行数为 1080, 则将余下的 6-1080 行图像数据,作为图像的实际画面,进行分离,执行后续的图像显示处理,如编码压缩、显示器直接显示、或者360 全景拼接,对目标检测结果数据覆盖至将要传输的图像的5行像素数据,分别进行独立处理,先获取行数据像素值静止信号跳变点,以此作为起点,对该行数据进行解码;若解码的过程中,没有找到数据包的包头,或者 CRC校验失败,则认为解码失败,则跳出本行数据解码流程,进行下一行数据解码;若解码成功,则将目标检测结果数据提取出来,并跳出整体解码流程;若5行像素数据均解析失败,则认为原始的画面中,不包含目标检测结果数据。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (10)

1.一种目标检测结果与图像原始数据混合传输方法,其特征在于,包括:
对图像中的目标检测结果数据进行编码,并将编码后的目标检测结果数据覆盖至将要传输的图像的若干行像素,或若干列像素中,形成目标检测结果与图像原始的混合数据,将该混合数据通过数模转换的方式转换为模拟数据进行传输;
对接收到的目标检测结果与图像原始的混合模拟数据通过模数转换的方式转换为数字数据;
提取目标检测结果与图像原始的混合数字数据中的目标检测结果数据进行解码,还原目标检测结果数据,同时,将目标检测结果数据覆盖的相应的行或列,从接收到的图像像素数据中剔除,获取原始的图像数据。
2.根据权利要求1所述的目标检测结果与图像原始数据混合传输方法,其特征在于,模拟数据的传输协议为AHD协议或CVI协议或TVI协议或CVBS 协议。
3.根据权利要求1所述的目标检测结果与图像原始数据混合传输方法,其特征在于,数据传输过程中,同一帧图像的原始数据,以及相应的目标检测结果数据,相互叠加传输。
4.根据权利要求1所述的目标检测结果与图像原始数据混合传输方法,其特征在于,数据传输过程中,当前帧图像的原始数据,叠加前 n 帧图像的目标检测结果数据,相互叠加传输。
5.根据权利要求1所述的目标检测结果与图像原始数据混合传输方法,其特征在于,目标检测结果数据在编码过程中,使用单个或若干个像素描述一个目标检测结果数据中的二进制比特数据。
6.根据权利要求1所述的目标检测结果与图像原始数据混合传输方法,其特征在于,当目标检测结果数据覆盖至将要传输的图像的一行,或若干行像素时,则在实际的混合数据包的包头前,用于承载目标检测结果数据的图像数据行,包含一段预设的静止信号电平数据,所述静止信号电平数据到数据包的包头的第一个比特对应的像素,包含信号跳变数据。
7.根据权利要求6所述的目标检测结果与图像原始数据混合传输方法,其特征在于,目标检测结果与图像原始的混合数据,包括:数据包的包头、协议版本号、CRC校验、余下数据的长度;
所述协议版本号,用于各个协议版本的兼容,采用短字节进行描述;
所述CRC校验,用于对所传输的数据进行校验;
所述余下数据的长度,用于对数据的长度,进行动态描述,可以预设为固定长度或根据余下数据中更为细化的参数预设长度。
8.根据权利要求7所述的目标检测结果与图像原始数据混合传输方法,其特征在于,余下数据的长度的结构的组合依次由原始图像画面帧序号、目标检测结果帧序号、发现目标的个数组成;
所述原始图像画面帧序号为系统本帧原始画面的序号;
所述目标检测结果帧序号为当前物体检测数据对应的原始画面的帧序号;
所述发现目标的个数,用于描述目标检测结果中包含的目标数量;
对检测到的目标的描述,包含目标的种类、目标框的左上角坐标数据、目标框的右下角坐标数据,并由目标框的左上角坐标数据、目标框的右下角坐标数据,获得目标在图像中的区域和范围。
9.根据权利要求6所述的目标检测结果与图像原始数据混合传输方法,其特征在于,将编码后的目标检测结果数据覆盖至将要传输的图像的若干行像素,形成目标检测结果与图像原始的混合数据,将该混合数据通过数模转换的方式转换为模拟数据在第一行,第二行,到第 n 行重复传输。
10.根据权利要求9所述的目标检测结果与图像原始数据混合传输方法,其特征在于,提取目标检测结果与图像原始的混合数字数据中的目标检测结果数据进行解码,还原数据时,包括:
后端获取图像数据;
若目标检测结果数据覆盖至将要传输的图像的行数为5行,图像的总行数为 1080, 则将余下的 6-1080 行图像数据,作为图像的实际画面,进行分离,编码压缩、显示器直接显示、然后360 全景拼接;
对目标检测结果数据覆盖至将要传输的图像的5行像素数据,分别进行独立处理,先获取行数据像素值静止信号跳变点,以此作为起点,对该行数据进行解码;若解码的过程中,没有找到数据包的包头,或者 CRC校验失败,则认为解码失败,则跳出本行数据解码流程,进行下一行数据解码;若解码成功,则将目标检测结果数据提取出来,并跳出整体解码流程;若5行像素数据均解析失败,则认为原始的画面中,不包含目标检测结果数据。
CN202110249384.0A 2021-03-08 2021-03-08 一种目标检测结果与图像原始数据混合传输方法 Pending CN112995761A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110249384.0A CN112995761A (zh) 2021-03-08 2021-03-08 一种目标检测结果与图像原始数据混合传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110249384.0A CN112995761A (zh) 2021-03-08 2021-03-08 一种目标检测结果与图像原始数据混合传输方法

Publications (1)

Publication Number Publication Date
CN112995761A true CN112995761A (zh) 2021-06-18

Family

ID=76336486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110249384.0A Pending CN112995761A (zh) 2021-03-08 2021-03-08 一种目标检测结果与图像原始数据混合传输方法

Country Status (1)

Country Link
CN (1) CN112995761A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861330A (zh) * 2023-03-03 2023-03-28 深圳市小辉智驾智能有限公司 摄像头图像数据传输方法、识别方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164062A (ja) * 1997-11-26 1999-06-18 Murata Mach Ltd 画像通信装置、画像通信方法及び画像通信プログラムを記録した記録媒体
CN102148958A (zh) * 2010-02-08 2011-08-10 北京中星微电子有限公司 一种在模拟视频数据中嵌入监控附加信息的方法及系统
CN103778590A (zh) * 2012-10-24 2014-05-07 航天信息股份有限公司 利用数字图像存储和传输信息的方法和装置
CN105096444A (zh) * 2014-05-22 2015-11-25 浙江大学 一种纸币鉴别仪图像采集及数据处理方法和电路
CN106454079A (zh) * 2016-09-28 2017-02-22 北京旷视科技有限公司 图像处理方法及装置和相机
CN109285198A (zh) * 2018-08-22 2019-01-29 大连理工大学 一种环形编码标记点的编码及识别方法
CN110868600A (zh) * 2019-11-11 2020-03-06 腾讯云计算(北京)有限责任公司 目标跟踪视频推流方法、显示方法、装置和存储介质
CN111093077A (zh) * 2019-12-31 2020-05-01 深圳云天励飞技术有限公司 一种视频编码方法、装置、电子设备及存储介质
CN111314629A (zh) * 2020-03-20 2020-06-19 上海依图网络科技有限公司 一种osd信息叠加方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164062A (ja) * 1997-11-26 1999-06-18 Murata Mach Ltd 画像通信装置、画像通信方法及び画像通信プログラムを記録した記録媒体
CN102148958A (zh) * 2010-02-08 2011-08-10 北京中星微电子有限公司 一种在模拟视频数据中嵌入监控附加信息的方法及系统
CN103778590A (zh) * 2012-10-24 2014-05-07 航天信息股份有限公司 利用数字图像存储和传输信息的方法和装置
CN105096444A (zh) * 2014-05-22 2015-11-25 浙江大学 一种纸币鉴别仪图像采集及数据处理方法和电路
CN106454079A (zh) * 2016-09-28 2017-02-22 北京旷视科技有限公司 图像处理方法及装置和相机
CN109285198A (zh) * 2018-08-22 2019-01-29 大连理工大学 一种环形编码标记点的编码及识别方法
CN110868600A (zh) * 2019-11-11 2020-03-06 腾讯云计算(北京)有限责任公司 目标跟踪视频推流方法、显示方法、装置和存储介质
CN111093077A (zh) * 2019-12-31 2020-05-01 深圳云天励飞技术有限公司 一种视频编码方法、装置、电子设备及存储介质
CN111314629A (zh) * 2020-03-20 2020-06-19 上海依图网络科技有限公司 一种osd信息叠加方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861330A (zh) * 2023-03-03 2023-03-28 深圳市小辉智驾智能有限公司 摄像头图像数据传输方法、识别方法及装置

Similar Documents

Publication Publication Date Title
US8098941B2 (en) Method and apparatus for parallelization of image compression encoders
RU2479937C2 (ru) Устройство и способ обработки информации
TWI414183B (zh) Information processing apparatus and method and non-temporary computer-readable recording medium
CN100419850C (zh) 在显示设备上将多个视频信号源的图像重叠的系统和方法
KR102509132B1 (ko) 영상 송신 장치 및 영상 수신 장치
EP1445953A1 (en) Interactive video apparatus and method of overlaying the caption on the image used by the said apparatus
US20180352207A1 (en) Methods and Systems for Transmitting Data in a Virtual Reality System
US20060092835A1 (en) Data transmission system between two separate terminals and method thereof
CN101690173B (zh) 用于没有时间延迟地显示所捕获的图像的图像处理设备和方法
CN111818295A (zh) 一种图像获取方法及装置
CN112995761A (zh) 一种目标检测结果与图像原始数据混合传输方法
CN112468763B (zh) 会议电视的视频传输和显示方法、装置、设备及存储介质
CN112261417B (zh) 视频推送方法及系统、设备及可读存储介质
CN106961571B (zh) 多路图像数据同时接收的方法和系统
US20180270507A1 (en) Method for encoding streams of video data based on groups of pictures (gop)
US20140218494A1 (en) High Definition Video Recorder/Player
US20050036046A1 (en) Method of or device for processing image data, a processed image data format, and a method of or device for displaying at least one image from the processed image data
KR100746463B1 (ko) 영상회의 시스템에서의 영상 전송 장치 및 그 방법
CN111406404A (zh) 获得视频文件的压缩方法、解压缩方法、系统及存储介质
WO2019193842A1 (ja) 送信装置、受信装置、及び通信システム
US20120106861A1 (en) Image compression method
CN115150370B (zh) 一种图像处理的方法
JPH09298559A (ja) データ処理システム及び処理方法
CN114257838B (zh) 一种视频数据处理方法、装置、电子设备和存储介质
WO2020250727A1 (ja) 送信装置、送信方法、受信装置、受信方法、および送受信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618