CN115174884A - 一种基于sei的多相机同步信息传输与存储方法 - Google Patents
一种基于sei的多相机同步信息传输与存储方法 Download PDFInfo
- Publication number
- CN115174884A CN115174884A CN202210798076.8A CN202210798076A CN115174884A CN 115174884 A CN115174884 A CN 115174884A CN 202210798076 A CN202210798076 A CN 202210798076A CN 115174884 A CN115174884 A CN 115174884A
- Authority
- CN
- China
- Prior art keywords
- camera
- sei
- synchronization information
- information
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 238000013480 data collection Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 2
- 239000007784 solid electrolyte Substances 0.000 abstract description 2
- 230000016507 interphase Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种基于SEI的多相机同步信息传输与存储方法，利用H264或H265的SEI类型消息来存放多个同步相机的同步信息，每个相机只需要一个视频文件，不再需要额外的同步文件即可实现多个视频的同步解析，获取图片的唯一编号信息，并实现多个相机的图片对齐。本发明为H264或H265等视频文件与视频流的传输与存储提供了便捷的技术方案，特别是针对多个同步相机的视频流或文件。
Description
技术领域
视频编解码，多相机传输
背景技术
目前的多相机同步信息是保存在单独的文件中，与视频文件相分离，给网络传输与后续的应用带来了很多不便。特别是3D重建中需要用到多视角的图片，如果这些图片不是多个相机同一个时刻拍摄的，会给3D重建造成极大的破坏，甚至无法进行3D重建。3D重建对多相机的同步有十分严格的要求，当前的技术是将同步信息与图片信息分开存储与传输，很容易造成图片错位或同步信息丢失。另一方面，视频压缩算法H264或H265主要解决单个视频流的压缩与解压，而没有考虑多相机的同步问题。本发明对H264 or H265算法的SEI消息进行定制，将相机的同步信息保存到SEI消息中，从而实现图片与同步信息一起存储与传输，从而解决了图片错位或同步信息丢失的问题。
发明内容
本发明包括两大部分，图片与同步信息的编码部分和图片与同步信息的解码部分。
1)编码部分主要负责从相机中获取图片流并进行图片格式转换；获取同步信息(CameraID，FrameID，TimeStamp)，并与通过相机标定获得的相机参数一起进行SEI预处理。然后将图片信息与SEI信息一起送到H264 or H265编码器进行视频编码生成视频流。最后将视频流通过网络传输或者保存到文件中。
2)解码部分主要负责将网络或文件中的视频流利用H264 or H265解码器分离出图片信息和SEI消息，再通过SEI解析，获得相机参数和同步信息。
系统工作原理
1.多个相机的同步通过同步信号发生器来进行触发控制，相机收到一个触发信号进行一次拍照，并且FrameID加1，若FrameID达到了最大值，则FrameID会变为0；并且每个相机都有一个唯一的CameraID。通过CameraID，FrameID和TimeStamp可以将多个相机的图片进行对齐。
2.在真正开始图片采集前，需要通过相机标定方法来获得各个相机的参数，包括相机内参和外参。
3.系统开始图片采集时，同步信号发生器会以一个固定的频率产生同步触发信号。
4.相机每接收到一个同步信号，就会进行一次拍摄，并对FrameID加1。
5.采集程序通过相机的SDK来获取到图片信息，CameraID，FrameID，TimeStamp等信息。
6.将CameraID用2个字节表示，如果是SDK提供相机的序列号，需要通过一张映射表将序列号转化为相机编号，2个字节最多可以表示65536个相机。将FrameID用8个字节表示，C语言中的long long类型。TimeStamp用8个字节表示，即C语言的long long类型。相机参数每个图片只传输4个字节，用2个字节表示数据在相机参数中的偏移值。通过多个连续的图片来传输完整的相机参数，每5分钟或10分钟传输一次完整的相机参数。以每秒60fps的视频流为例子，10分钟会产生的图片数量为10*60*60＝36000，即做一个计数器，当传输图片的数量达到36000张时开始传输一次完整的相机参数，然后将计数器清零，重新开始计算。
7.由于相机的CameraID和相机参数在拍摄过程中一般是不发生变化的，所以每10分钟或5分钟传输一次即可。CameraID占用2个字节，相机参数占用6个字节，一共8个字节，这个8个字节不是每张图片都有的，是可选的。FrameID占用8个字节，TimeStamp占用8个字节，一共16个字节，是每张图片都有的。因此，SEI的内容长度可以是16个字节，也可以是24个字节(16+8)。
8.将这16或24个字节作为SEI的参数，并与从相机获取到的图片信息通过H264 orH265进行视频编码。
9.将编码后的视频流进行网络传输或保存到文件中。
10.将网络收到的视频流或从文件读取的视频信息通过H264 or H265进行视频解码，得到图片信息与SEI消息。SEI消息的长度可能是16或24字节，如果是16个字节，则只包含8个字节的FrameID和TimeStamp；如果是24个字节，则包括了8个字节的FrameID，8个字节的TimeStamp，2个字节的CameraID，2个字节的相机参数偏移地址，4个字节的相机参数。如果包含了相加参数，需要通过连续多个帧的积累，才能把所有相机参数搜集起来。
技术要求
1.采用的相机具有外触发拍照功能，且SDK提供图片信息、CameraID，FrameID，TimeStamp等信息。一般工业相机都具备有这些功能。
2.采用的H264 or H265编码器需要具有可以设置SEI的接口功能，一般的编码器都有这个功能。同理，H264 or H265的视频解码器需要能输出SEI的消息。
附图说明
附图1是基于SEI的多相机同步信息传输与存储方法视频编码功能图，描述了系统的关键构成、主要原理和主要方法。
附图2是基于SEI的多相机同步信息传输与存储方法视频解码功能图，描述了如何获取SEI消息并对SEI进行解析。
技术方案优点
本发明一种基于SEI的多相机同步信息传输与存储方法，提供了多相机同步信息与图片信息一起传输与存储的技术方案，解决了多个相机图片的同步信息丢失或者错位的问题。对于计算机视觉的3D重建具有至关重要的作用，同时充分利用了现有的H264 orH265视频编解码功能，具有广泛的应用价值。
具体实施方式
1)采用工业相机来进行同步，以便获取CameraID，FrameID，TimeStamp等信息。
2)采用英伟达Nvidia提供的H264 or H265视频编解码软件，能充分利用GPU的计算能力来加速视频的编解码。
Claims (4)
1.一种基于SEI的多相机同步信息传输与存储方法，通过SEI消息将相机同步信息与图片信息一起进行H264 or H265进行编解码，以便于进行网络传输与文件保存，解决了相机同步信息与图片信息同步传输的问题。
2.根据权利要求1所述的数据采集方法，其特征在于，利用SEI来传输相机同步信息，包括CameraID，FrameID，TimeStamp，相机内参与外参等。
3.根据权利要求1所述的数据采集方法，其特征在于，SEI每次只传输部分相机参数，通过连续多个图片帧的SEI来传输完整的相机参数，降低了网络带宽的开销。
4.根据权利要求1所述的数据采集方法，其特征在于，SEI的消息长度是可变的，在每次的SEI传输中有些相机同步信息是可选的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210798076.8A CN115174884A (zh) | 2022-07-08 | 2022-07-08 | 一种基于sei的多相机同步信息传输与存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210798076.8A CN115174884A (zh) | 2022-07-08 | 2022-07-08 | 一种基于sei的多相机同步信息传输与存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115174884A true CN115174884A (zh) | 2022-10-11 |
Family
ID=83490638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210798076.8A Pending CN115174884A (zh) | 2022-07-08 | 2022-07-08 | 一种基于sei的多相机同步信息传输与存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115174884A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050204210A1 (en) * | 2004-02-05 | 2005-09-15 | Samsung Electronics Co., Ltd. | Decoding method, medium, and apparatus |
| JP2007251542A (ja) * | 2006-03-15 | 2007-09-27 | Seiko Epson Corp | 表示制御装置、表示制御方法、情報再生装置及び電子機器 |
| CN111630850A (zh) * | 2018-01-23 | 2020-09-04 | Lg电子株式会社 | 用于发送或接收包括相机镜头信息的360度视频的方法和设备 |
| CN112004102A (zh) * | 2020-08-03 | 2020-11-27 | 杭州当虹科技股份有限公司 | 一种基于ip直播流的多机位画面同步方法 |
| CN112770122A (zh) * | 2020-12-31 | 2021-05-07 | 上海网达软件股份有限公司 | 一种在云导播台视频同步的方法及系统 |
| CN113873345A (zh) * | 2021-09-27 | 2021-12-31 | 中国电子科技集团公司第二十八研究所 | 一种分布式的超高清视频同步处理方法 |
-
2022
- 2022-07-08 CN CN202210798076.8A patent/CN115174884A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050204210A1 (en) * | 2004-02-05 | 2005-09-15 | Samsung Electronics Co., Ltd. | Decoding method, medium, and apparatus |
| JP2007251542A (ja) * | 2006-03-15 | 2007-09-27 | Seiko Epson Corp | 表示制御装置、表示制御方法、情報再生装置及び電子機器 |
| CN111630850A (zh) * | 2018-01-23 | 2020-09-04 | Lg电子株式会社 | 用于发送或接收包括相机镜头信息的360度视频的方法和设备 |
| CN112004102A (zh) * | 2020-08-03 | 2020-11-27 | 杭州当虹科技股份有限公司 | 一种基于ip直播流的多机位画面同步方法 |
| CN112770122A (zh) * | 2020-12-31 | 2021-05-07 | 上海网达软件股份有限公司 | 一种在云导播台视频同步的方法及系统 |
| CN113873345A (zh) * | 2021-09-27 | 2021-12-31 | 中国电子科技集团公司第二十八研究所 | 一种分布式的超高清视频同步处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2479937C2 (ru) | Устройство и способ обработки информации | |
| KR100556826B1 (ko) | Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법 | |
| KR101560956B1 (ko) | 비트스트림 서브세트 표시 | |
| KR20090126176A (ko) | 정보 처리 장치 및 방법과, 프로그램 | |
| US11044437B2 (en) | Method and system for combining multiple area-of-interest video codestreams into a combined video codestream | |
| US10334219B2 (en) | Apparatus for switching/routing image signals through bandwidth splitting and reduction and the method thereof | |
| CN112019877A (zh) | 基于vr设备的投屏方法、装置、设备及存储介质 | |
| US20230224502A1 (en) | Providing semantic information with encoded image data | |
| US20230319371A1 (en) | Distribution of Multiple Signals of Video Content Independently over a Network | |
| KR20080114500A (ko) | 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템 | |
| CN109040818B (zh) | 直播时的音视频同步方法、存储介质、电子设备及系统 | |
| KR101171389B1 (ko) | Ｓｄｉ를 이용한 압축 영상 전달 시스템 및 그 방법 | |
| US9584755B2 (en) | Endoscope with high definition video recorder/player | |
| KR20080065766A (ko) | 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법 | |
| JP5172874B2 (ja) | 映像同期装置、映像表示装置、映像同期方法及びプログラム | |
| CN112153401A (zh) | 视频处理方法、通信设备及可读存储介质 | |
| CN115174884A (zh) | 一种基于sei的多相机同步信息传输与存储方法 | |
| KR20210107678A (ko) | 송신 장치, 송신 방법, 부호화 장치, 부호화 방법, 수신 장치 및 수신 방법 | |
| KR100898700B1 (ko) | 다중 시점의 영상을 이용한 초고해상도 방송 시스템 및방법 | |
| JP2017220737A (ja) | タイムコード送信装置、タイムコード受信装置、映像信号送信装置及び映像信号受信装置 | |
| US20150264360A1 (en) | Video transmission system, video encoding apparatus, and video decoding apparatus | |
| KR100635010B1 (ko) | 다수의 부호기를 이용한 영상부호화장치 | |
| US9479823B2 (en) | Transmitting device and receiving device | |
| CN114302147A (zh) | 视频流数据的录放方法、系统、存储介质及电子装置 | |
| CN112911346A (zh) | 视频源同步方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20221011 |