CN113163137A - 海思编解码芯片实现多画面叠加的方法和系统 - Google Patents

海思编解码芯片实现多画面叠加的方法和系统 Download PDF

Info

Publication number
CN113163137A
CN113163137A CN202110477117.9A CN202110477117A CN113163137A CN 113163137 A CN113163137 A CN 113163137A CN 202110477117 A CN202110477117 A CN 202110477117A CN 113163137 A CN113163137 A CN 113163137A
Authority
CN
China
Prior art keywords
picture
module
haisi
coding
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110477117.9A
Other languages
English (en)
Inventor
彭雪昭
陶帅
李国明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongli Intelligent Technology Shenzhen Co ltd
Original Assignee
Zhongli Intelligent Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongli Intelligent Technology Shenzhen Co ltd filed Critical Zhongli Intelligent Technology Shenzhen Co ltd
Priority to CN202110477117.9A priority Critical patent/CN113163137A/zh
Publication of CN113163137A publication Critical patent/CN113163137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供海思编解码芯片实现多画面叠加的方法和系统，包括画面输入源、海思编解码芯片、画面显示端、编辑器；经过确定参照物和偏移量，对叠加画面进行偏移、旋转、裁剪或缩放，将偏移、旋转、裁剪或缩放后的叠加画面放置到背景画面上等步骤，通过海思编解码芯片，将不同的已实现的画面叠加到一起，形成新的更为复杂的画面，以丰富画面展现的内容，提供更多彩的展示图像。

Description

海思编解码芯片实现多画面叠加的方法和系统
技术领域
本发明涉及画面处理技术领域，特别涉及海思编解码芯片实现多画面叠加的方法和系统。
背景技术
系统芯片(SoC，system on chip，也叫片上系统)，包括了编解码单元 (用于压缩视频流)，CPU(系统控制)，ISP(图像信号处理)等几个部分。早年上述每个功能都是分立的芯片，现在可以集成到一颗芯片里。不管是电视，还是视频监控，大量制造商都采用海思芯片。
但是，在画面处理方面，现有技术中没有很好的实现画面叠加的技术方案。
发明内容
针对现有技术存在的问题，本发明提供海思编解码芯片实现多画面叠加的方法和系统。
为实现上述目的，本发明的具体方案如下：
提供海思编解码芯片实现多画面叠加的方法，该方法包括如下步骤：
S1，获取多画面，对每一画面上不同类型物体进行参照物识别，形成参照物集合；
S2、指定其一画面为背景画面，其余画面为待叠加画面；
S3，以背景画面为基准，依次调整待叠加画面角度，使其与背景画面上同类型参照物偏移量最小进行画面叠加合成；
其中，画面叠加合成通过海思编解码芯片完成。
进一步地，所述参照物偏移量根据如下公式来确定：
Figure RE-GDA0003085922630000011
其中：
f表示，偏移描述函数；
Δ表示，偏移量的差额；
θ表示，叠加画面偏转的角度，0°≤θ≤360°；
Δn表示，第n参照物的偏移量，n为正整数。
进一步地，步骤S1识别的参照物的数量为3个，且不在同一条直线上。
进一步地，所述叠加画面的个数为3个。
进一步地，所述叠加画面位于背景画面的上层。
进一步地，画面叠加合成前通过海思芯片的VPSS缩放模块对叠加画面进行偏移、旋转、裁剪或缩放。
海思编解码芯片实现多画面叠加的系统，包括：画面输入源、海思编解码芯片、画面显示端、编辑器；
海思编解码芯片包含：VPSS缩放模块、VDEC视频解码模块、VENC视频编码模块、显示帧缓冲区、VO模块；
画面输入源将画面信息输送到VENC视频编码模块，经过VENC视频编码模块处理的画面信息发送给VPSS缩放模块进行偏移、旋转、缩放、裁剪、合成处理，编辑器与海思编解码芯片的VPSS缩放模块连接，进行画面的编辑工作，处理后的画面通过VDEC视频解码模块处理，通过IVE模块拷贝到显示帧缓冲区，由VO模块将显示帧缓冲区的画面信息传递给画面显示端显示。
进一步地，所述编辑器包含用户操作界面。
采用本发明的技术方案，具有以下有益效果：
本发明提供海思编解码芯片实现多画面叠加的方法和系统，包括画面输入源、海思编解码芯片、画面显示端、编辑器；经过确定参照物和偏移量，对叠加画面进行偏移、旋转、裁剪或缩放，将偏移、旋转、裁剪或缩放后的叠加画面放置到背景画面上等步骤，通过海思编解码芯片，将不同的已实现的画面叠加到一起，形成新的更为复杂的画面，以丰富画面展现的内容，提供更多彩的展示图像。
附图说明
图1是本发明具体实施方式的步骤流程图；
图2是本发明具体实施方式的各功能模块连接关系图；
图3是本发明具体实施方式的hi3531芯片功能框图。
具体实施方式
以下结合附图和具体实施例，对本发明进一步说明。
结合图1-图3对本发明的具体原理和步骤进行说明：
本发明关于海思编解码芯片实现多画面叠加的方法，该方法包括如下步骤：S1，获取多画面，对每一画面上不同类型物体进行参照物识别，形成参照物集合；S2、指定其一画面为背景画面，其余画面为待叠加画面；S3，以背景画面为基准，依次调整待叠加画面角度，使其与背景画面上同类型参照物偏移量最小进行画面叠加合成；其中，画面叠加合成通过海思编解码芯片完成。
当参照物数量为3个时，参照物偏移量根据如下公式来确定：
Figure RE-GDA0003085922630000031
其中：
f表示，偏移描述函数；
Δ表示，偏移量的差额；
θ表示，叠加画面偏转的角度，0°≤θ≤360°；
Δ1表示，第一参照物的偏移量；
Δ2表示，第二参照物的偏移量；
Δ3表示，第三参照物的偏移量。
当参照物的数量增加到n时参照物偏移量公式如下：
Figure RE-GDA0003085922630000032
Δn表示，第n参照物的偏移量，n为正整数。
步骤S1识别的参照物的数量为3个或者3个以上，参照物不在同一条直线上。叠加画面的个数为3个或者3个以上，也可以只有一个叠加画面；所述叠加画面位于背景画面的上层，也可以与背景画面呈一定角度相交；画面叠加合成前通过海思芯片的VPSS缩放模块对叠加画面进行偏移、旋转、裁剪或缩放。
在叠加画面上选取与背景画面上同种类型的物体作为参照物，以背景画面上同种类型的参照物为基准，对叠加画面进行θ角度的偏移，偏移之后，
Δ
叠加画面上面的同种类型参照物相对于背景画面上面的同种类型的参照物位置偏移量为，通过多个参照物的偏移量确定偏移后的叠加画面。
以此类推，对多张叠加画面进行处理，最后将处理后的叠加画面与背景画面进行合成，形成新的画面。
海思编解码芯片实现多画面叠加的系统，包括：画面输入源、海思编解码芯片、画面显示端、编辑器；海思编解码芯片包含：VPSS缩放模块、VDEC 视频解码模块、VENC视频编码模块、显示帧缓冲区、VO模块；
画面输入源将画面信息输送到VENC视频编码模块，经过VENC视频编码模块处理的画面信息发送给VPSS缩放模块进行偏移、旋转、缩放、裁剪、合成处理，编辑器与海思编解码芯片的VPSS缩放模块连接，进行画面的编辑工作，处理后的画面通过VDEC视频解码模块处理，通过IVE模块拷贝到显示帧缓冲区，由VO模块将显示帧缓冲区的画面信息传递给画面显示端显示，所述编辑器包含用户操作界面。
海思3531芯片介绍：
由于本实施方案涉及海思3531芯片，现对该芯片简单介绍，
1、媒体处理平台(MPP)
2、视频缓存池：向媒体业务提供大块内存管理功能。
3、视频编码模块VENC支持以下协议编码：(1)H.264(2)JPEG(3) MJPEG(4)MPEG-4。
4、编码模块的输入源包括三类：
(1)用户态读取图像文件向编码模块发送数据；
(2)视频输入(VIU)模块采集的图像经过视频处理子系统(VPSS)发送到编码模块；
(3)视频输入(VIU)模块采集的图像直接发送到编码模块:。
5、视频前处理单元VPSS(Video Process Sub-System)：
(1)支持对一幅输入图像进行统一处理，然后进行缩放输出；
(2)一进五出(0～4)；
(3)一幅图像最多输出4种不同分辨率的预处理后图像，
0：主码流 1：辅码流 2：JPEG 3：预览。
6、典型的编码流程包括：
(1)输入图像的接收；(2)图像内容的遮挡和覆盖；(3)图像的编码； (4)码流的输入。
7、编码通道：
完成图像转化为码流的功能，具体由码率控制器和编码器协同完成，
(1)码率控制器：提供了对编码参数的控制和调整，从而对输出码率进行控制；
(2)编码器：只完成编码功能。
8、编码通道组：
指芯片启动一次，能够同时处理的编码通道的集合，Hi3531编码通道组支持启动一次，仅编码一路主码流通道。
9、系统绑定：
通过数据接收者绑定数据源来建立两者之间的关联关系。绑定后，数据源生成的数据将自动发给接收者。
10、一些名词简写：
VI：视频输入 VO：视频输出
VPSS：视频处理 VDA：视频侦测分析
VENC：视频编码 AI：音频输入
VDEC：视频解码 AO：音频输出
11、Hi3531解码器提供两种码流发送方式：
(1)流式发送，(2)按帧发送。
12、Hi3531解码器图像传输方式：
(1)普通传输：完全按照H.264协议输出图像，速度慢
(2)直接输出：收到下一帧码流，输出当前帧图像，次之
(3)按帧输出：收到当前帧码流，输出当前帧图像，速度快。
13、VI模块(视频输入)
(1)实现的功能：将芯片外的视频数据，通过接口接收，存入到指定的内存区域。实现一路原始视频图像输入，两路视频图像输出功能；
(2)Hi3531芯片有4个BT.1120接口，每个BT.1120接口依次对应两个 VI设备；
(3)Hi3531芯片有8个(4*2)VI设备端口(Dev0～Dev7)，32个VI物理通道，2个级联扩展通道；
(4)8个VI设备端口均支持2路D1复合模式，以及1路720P interleave 模式。
14、音频模块，Audio模块包括：
(1)音频输入，(2)音频输出，(3)音频编码，(4)音频解码。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。

Claims (8)

1.海思编解码芯片实现多画面叠加的方法，其特征在于该方法包括：
S1，获取多画面，对每一画面上不同类型物体进行参照物识别，形成参照物集合；
S2、指定其一画面为背景画面，其余画面为待叠加画面；
S3，以背景画面为基准，依次调整待叠加画面角度，使其与背景画面上同类型参照物偏移量最小进行画面叠加合成；
其中，画面叠加合成通过海思编解码芯片完成。
2.根据权利要求1所述的海思编解码芯片实现多画面叠加的方法，其特征在于，所述参照物偏移量根据如下公式来确定：
Figure FDA0003047468970000011
其中：
f表示，偏移描述函数；
Δ表示，偏移量的差额；
θ表示，叠加画面偏转的角度，0°≤θ≤360°；
Δn表示，第n参照物的偏移量，n为正整数。
3.根据权利要求1所述的海思编解码芯片实现多画面叠加的方法，其特征在于，步骤S1识别的参照物的数量为3个，且不在同一条直线上。
4.根据权利要求1所述的海思编解码芯片实现多画面叠加的方法，其特征在于：所述叠加画面的个数为3个。
5.根据权利要求1所述的海思编解码芯片实现多画面叠加的方法，其特征在于：所述叠加画面位于背景画面的上层。
6.根据权利要求1所述的海思编解码芯片实现多画面叠加的方法，其特征在于，画面叠加合成前通过海思芯片的VPSS缩放模块对叠加画面进行偏移、旋转、裁剪或缩放。
7.海思编解码芯片实现多画面叠加的系统，其特征在于包括：
画面输入源、海思编解码芯片、画面显示端、编辑器；
所述海思编解码芯片包含：VPSS缩放模块、VDEC视频解码模块、VENC视频编码模块、显示帧缓冲区、VO模块；
所述画面输入源将画面信息输送到VENC视频编码模块，经过VENC视频编码模块处理的画面信息发送给VPSS缩放模块进行偏移、旋转、缩放、裁剪、合成处理，编辑器与海思编解码芯片的VPSS缩放模块连接，进行画面的编辑工作，处理后的画面通过VDEC视频解码模块处理，通过IVE模块拷贝到显示帧缓冲区，由VO模块将显示帧缓冲区的画面信息传递给画面显示端显示。
8.根据权利要求7所述的海思编解码芯片实现多画面叠加的系统，其特征在于：所述编辑器包含用户操作界面。
CN202110477117.9A 2021-04-29 2021-04-29 海思编解码芯片实现多画面叠加的方法和系统 Pending CN113163137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110477117.9A CN113163137A (zh) 2021-04-29 2021-04-29 海思编解码芯片实现多画面叠加的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110477117.9A CN113163137A (zh) 2021-04-29 2021-04-29 海思编解码芯片实现多画面叠加的方法和系统

Publications (1)

Publication Number Publication Date
CN113163137A true CN113163137A (zh) 2021-07-23

Family

ID=76872823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110477117.9A Pending CN113163137A (zh) 2021-04-29 2021-04-29 海思编解码芯片实现多画面叠加的方法和系统

Country Status (1)

Country Link
CN (1) CN113163137A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965711A (zh) * 2021-09-28 2022-01-21 天津七所精密机电技术有限公司 一种基于国产化海思平台的4k视频显示控制装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100110180A1 (en) * 2008-11-04 2010-05-06 Omron Corporation Image processing device
US20100172585A1 (en) * 2007-09-25 2010-07-08 Fujitsu Limited Image synthesizing apparatus and method of synthesizing images
CN106791482A (zh) * 2016-12-13 2017-05-31 广东威创视讯科技股份有限公司 一种基于海思平台的视频拼接方法
JP2018182373A (ja) * 2017-04-03 2018-11-15 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム
EP3550829A1 (en) * 2017-04-03 2019-10-09 JVC KENWOOD Corporation Bird's-eye-view video generation device, bird's-eye-view video display device, bird's-eye-view video generation method, and program
CN111935531A (zh) * 2020-08-04 2020-11-13 天津七所精密机电技术有限公司 一种基于嵌入式平台的综合显示系统图形处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100172585A1 (en) * 2007-09-25 2010-07-08 Fujitsu Limited Image synthesizing apparatus and method of synthesizing images
US20100110180A1 (en) * 2008-11-04 2010-05-06 Omron Corporation Image processing device
CN106791482A (zh) * 2016-12-13 2017-05-31 广东威创视讯科技股份有限公司 一种基于海思平台的视频拼接方法
JP2018182373A (ja) * 2017-04-03 2018-11-15 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム
EP3550829A1 (en) * 2017-04-03 2019-10-09 JVC KENWOOD Corporation Bird's-eye-view video generation device, bird's-eye-view video display device, bird's-eye-view video generation method, and program
CN111935531A (zh) * 2020-08-04 2020-11-13 天津七所精密机电技术有限公司 一种基于嵌入式平台的综合显示系统图形处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李博文等: "基于Linux的视频图像处理及其网络传输监控系统", 《桂林电子科技大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965711A (zh) * 2021-09-28 2022-01-21 天津七所精密机电技术有限公司 一种基于国产化海思平台的4k视频显示控制装置及方法

Similar Documents

Publication Publication Date Title
US7145947B2 (en) Video data processing apparatus and method, data distributing apparatus and method, data receiving apparatus and method, storage medium, and computer program
CN112565627B (zh) 一种基于位图叠加的多路视频集中显示设计方法
US6198477B1 (en) Multistream switch-based video editing architecture
US7593580B2 (en) Video encoding using parallel processors
CN112188136A (zh) 多合一拼接实时刻录视频的方法、系统、存储介质及设备
US20090322858A1 (en) Picture signal processing device, television receiving apparatus and method of controlling apparatus
CN101094367A (zh) 流式编码器及流式解码器
CN109639954A (zh) 双孔径摄影机系统中的帧同步
US8085346B2 (en) Filter module for a video decoding system
CN1418430A (zh) 用于同时记录和显示两个不同的视频节目的方法和装置
US8681161B2 (en) Multi-pass system and method supporting multiple streams of video
CN113163137A (zh) 海思编解码芯片实现多画面叠加的方法和系统
CN112511896A (zh) 一种视频渲染方法及装置
US20080117285A1 (en) Image Synthesizing Device and Method and Computer Readable Medium
CN105959562A (zh) 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
KR20050098287A (ko) 디지털 영상 데이터 프로세싱용 재사용가능 프론트 엔드를구비하는 모듈러 아키텍처
CN101212677A (zh) 多媒体串流操作装置及多媒体串流传输方法
CN208623757U (zh) 一种图像拼接融合系统
US20030190154A1 (en) Method and apparatus for data compression of multi-channel moving pictures
JPH10210465A (ja) 符号列編集装置、画像符号化信号復号化装置、および、動画符号化信号復号化装置
JP2790538B2 (ja) 双方向簡易動画通信方式
CN114286121A (zh) 一种基于全景相机实现画面导播直播的方法和系统
CN113612938A (zh) 一种多类型自适应分辨率的图像转换方法及装置
JPH08256315A (ja) 多地点同時モニタ制御方法
CN100464567C (zh) 一体式视频信号交换装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723