CN116366782A - 不同帧率的信号的呈现方法和相关产品 - Google Patents
不同帧率的信号的呈现方法和相关产品 Download PDFInfo
- Publication number
- CN116366782A CN116366782A CN202111618880.5A CN202111618880A CN116366782A CN 116366782 A CN116366782 A CN 116366782A CN 202111618880 A CN202111618880 A CN 202111618880A CN 116366782 A CN116366782 A CN 116366782A
- Authority
- CN
- China
- Prior art keywords
- signal
- frame
- frame rate
- rate
- nhigh
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000015654 memory Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 abstract description 38
- 230000001360 synchronised effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000003780 insertion Methods 0.000 description 8
- 230000037431 insertion Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
Abstract
不同帧率的信号的呈现方法和相关产品。本公开提供一种以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号的方法和相关产品,其中该方法可以包括在组合处理装置中,该组合处理装置还可以包括通用互联接口和其他处理装置。所述计算装置与其他处理装置进行交互,共同完成用户指定的计算操作。组合处理装置还可以包括存储装置,该存储装置分别与设备和其他处理装置连接,用于存储该设备和其他处理装置的数据。本披露的方案实现了一种低帧率向高帧率转换的方式,并且还能够将不同帧率的信号同步到一个任选的帧率,从而能够同步地显示不同的信号内容。
Description
技术领域
本公开涉及传感器领域,更具体地,涉及传感器信号的同步呈现。
背景技术
在图像拼接的处理上,信号同步显得尤为重要,如果当前第一传感器获取的图像帧与第二传感器获取的图像帧不是同一时间,在图像为动态时,则会导致第一传感器和第二传感器在拼接位置方面较难匹配,从而影响拼接效果。
在当前主流的传感器信号的拼接方案中,都是在保证相同帧率和相同分辨率的情况下进行的,比如都是1080P和60Hz,目的是保证图像拼接的同步效果。但是,在主流的传感器市场上,不同帧率以及不同分辨率的传感器方案存在较多,如何配置不同帧率的传感器方案是一个值得关注的问题。
当前主流的传感器信号拼接基本都是在保证相同帧率和相同分辨率的情况下完成的。例如,对于1920*1080 60hz的信号以及1920*108024hz/30hz的信号,如果要实现不同帧率的传感器信号同步,当前的做法基本是需要将高帧率降低到低帧率来进行对应的同步,即将1920*1080 60hz降低到1920*1080 30hz、24hz,但这种做法会降低信号质量或者丢失一些重要内容。
由此可见,在现有技术中,当存在多个帧率的信号时,无法随机地选择一个帧率来呈现其他帧率的信号,从而信号的呈现受到一定限制。
发明内容
本公开的目的在于能够将不同帧率的信号同步到一个任选的帧率,从而能够以一个任选的帧率来同步地显示不同的信号内容。
根据本公开的一个方案,提供一种以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号的方法,其中所述第一帧率N1大于第二帧率N2,第一信号包括第一信号帧,第二信号包括第二信号帧,所述方法包括:将第一信号的第一基准帧与第二信号的第二基准帧对准;基于对准的第一基准帧和第二基准帧,建立第一信号的第一信号帧和第二信号的第二信号帧的匹配关系;以及基于所述匹配关系,以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号。
根据本公开第二方面,提供一种同步地呈现多个信号的方法,其中,所述多个信号包括具有最高帧率Nmax的第一信号和具有其他帧率Nother的多个第二信号,其中所述最高帧率Nmax大于其他帧率Nother,第一信号包括第一信号帧,第二信号包括第二信号帧;将第一信号的第一基准帧与多个第二信号的第二基准帧对准;基于对准的第一基准帧和第二基准帧,建立第一信号的第一信号帧和第二信号的第二信号帧的匹配关系;以及基于所述匹配关系,以第一信号的最高帧率Nmax来同步地呈现所述第一信号和多个第二信号。
根据本公开第三方面,提供一种同步地呈现多个信号的方法,其中,所述多个信号包括具有第一帧率Nhigh的第一信号,具有第二帧率Nmid的第二信号和具有第三帧率Nlow的第三信号,其中,所述第二帧率Nmid低于第一帧率Nhigh,并且所述第二帧率Nmid高于第三帧率Nlow,第一信号包括第一信号帧,第二信号包括第二信号帧,第三信号包括第三信号帧,所述方法包括:将第一信号的第一基准帧,第二信号的第二基准帧以及第三信号的第三基准帧对准;基于对准的第一基准帧、第二基准帧和第三基准帧,建立第一信号的第一信号帧、第二信号的第二信号帧以及第三信号的第三信号帧的匹配关系;以及基于所述匹配关系,以第二信号的第二帧率Nmid来同步地呈现第一信号、第二信号和第三信号。
根据本公开第四方面,提供一种电子设备,包括:一个或多个处理器;以及存储器,所述存储器中存储有计算机可执行指令,当所述计算机可执行指令由所述一个或多个处理器运行时,使得所述电子设备执行如上所述的方法。
根据本公开第五方面,提供一种计算机可读存储介质,包括计算机可执行指令,当所述计算机可执行指令由一个或多个处理器运行时,执行如上所述的方法。
本公开提供的技术方案实现了一种低帧率向高帧率转换的方式,并且还能够将不同帧率的信号同步到一个任选的帧率,从而能够同步地显示不同的信号内容,增加了系统的灵活性和适用性。例如,对于帧率要求较高的场景下,用户可以选择更高的帧率来呈现不同的信号,而对于帧率要求不高但对速度要求较高的场景,用户可以选择较低的帧率来呈现不同的信号。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分其中:
图1示出了根据本公开一个实施方式的通过多个传感器来获取多个不同帧率的信号的示意图;
图2示出了根据本公开一个实施方式的以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号的方法流程图;
图3示出了将两个不同帧率的信号进行同步的示意图;
图4示出了两个不同帧率的信号进行同步的另一个示意图;
图5a和图5b示出了在低帧率信号中插黑或者插入现有帧的示意图;
图6示出了根据本公开一个方面的同步地呈现多个信号的方法流程示意图;
图7出了根据本公开另一个方面的同步地呈现多个信号的方法流程示意图;
图8示例性地示出了根据表2的信号呈现的示意图;
图9示出了一种组合处理装置;以及
图10示出了一种示例性板卡。
具体实施方式
下面将结合本披露实施例中的附图,对本披露实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本披露一部分实施例,而不是全部的实施例。基于本披露中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本披露保护的范围。
应当理解,本披露的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。“第一”、“第二”、“第三”和“第四”等也不仅仅表示一个,而是也可以表示多个。第一本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
图1示出了根据本公开一个实施方式的通过多个传感器来获取多个不同帧率的信号的示意图。
如图1所示,假设有三个传感器,例如传感器1,传感器2和传感器3,他们均与呈现设备连接,并且这些传感器的信号1、信号2和信号3的帧率分别为帧率1、帧率2和帧率3。呈现设备例如可以是视频显示设备,音频播放设备或者可以是任何其他输出数据的设备、装置或器件。
数据1的帧率1例如可以为60Hz,数据2的帧率2例如可以为30Hz,数据3的帧率3例如可以为15Hz,为了使这些不同帧率的数据同步地呈现,需要采用同步信号,例如如图1所示的同步1,同步2和同步3。通常,只有这些同步信号保持相同,才能避免不同帧率的信号出现闪烁,抖动等问题。根据本公开的方案,可以采用帧率1、帧率2和帧率3中的任何一个帧率来同步地呈现这些数据。这将在下文中进行详细描述和解释。
图2示出了根据本公开一个实施方式的以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号的方法流程图,其中所述第一帧率N1大于第二帧率N2,第一信号包括第一信号帧,第二信号包括第二信号帧,所述方法包括:在操作S210,将第一信号的第一基准帧与第二信号的第二基准帧对准;在操作S220,基于对准的第一基准帧和第二基准帧,建立第一信号的第一信号帧和第二信号的第二信号帧的匹配关系;以及在操作S230,基于所述匹配关系,以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号。
图3示出了将两个不同帧率的信号进行同步的示意图。
如图3所示,假设存在两个信号,例如第一信号和第二信号。第一信号的帧率为N1(例如60Hz),第二信号的帧率为N2(例如30Hz),第一信号中包括多个第一信号帧(例如F11-F110),第二信号中包括多个第二信号帧(例如F21-F25)。需要指出的是,为方便描述,为每个帧分配了帧号,例如F11表示第一信号中帧号为1的帧,F110表示第一信号中帧号为10的帧,F21表示第二信号中帧号为1的帧,而F25表示第二信号中帧号为5的帧。还可以理解的是,在相同时间内,第一信号中包括的第一信号帧的数量为第二信号中第二信号帧数量的N1/N2=60/30=2倍。
为了使得两个信号同步,首先需要将第一信号帧和第二信号帧进行对准。对准的前提是需要确定基准帧。如图3所示,可以以第一信号帧中的首帧F11和第二信号帧中的首帧F21作为基准帧来进行对齐。当基准帧对齐之后,后续的第一信号帧F12-F110才能够更准确地与第二信号中F22-F25对齐和匹配。
需要理解的是,基准帧可以是每个信号的首帧,但也可以是每个信号中的任意一帧。只要确定了基准帧的帧号,则后续的帧可以进一步地对准。如图3所示,第一信号的作为第一基准帧的帧F11与第二信号的作为基准帧的帧F21进行对准之后,帧F13可以与F22对准,帧F15可以与帧F23对准,帧F17可以与帧F24对准,并且帧F19可以与帧F25对准。
为此,可以建立一个查找表或者匹配表来建立各个帧之间的对应关系,表1示例性地出了各个帧之间的对应关系。
第一信号 | 60Hz | F11 | F12 | F13 | F14 | F15 | F16 | F17 | F18 | F19 | F110 |
第二信号 | 30Hz | F21 | F22 | F23 | F24 | F25 |
表1
表1清楚地示出了各个帧之间的对应关系,其中高帧率信号(第一信号)中的某些帧,例如F12,F14,F16,F18和F110并不对应到第二信号中的任何帧。对于任何不同帧率的信号,均可以建立类似于表1的查找表或者匹配表,从而建立第一信号的第一信号帧与第二信号的第二信号帧之间的匹配关系。
表1仅仅是示出了两个信号之间的匹配关系,还可以在更多信号之间建立匹配关系。例如,表2示出了三个信号之间的匹配关系。
第一信号 | 60Hz | F11 | F12 | F13 | F14 | F15 | F16 | F17 | F18 | F19 | F110 |
第二信号 | 30Hz | F21 | F22 | F23 | F24 | F25 | |||||
第三信号 | 15Hz | F31 | F32 | F33 |
表2
如表2所示,假设第三信号的帧率为15Hz,则可以选择帧F31作为基准帧,由此,帧F31可以与帧F11和F21对准,帧F32可以与F15和F23对准,以及帧F33可以与帧F19和F25对准。
当建立了第一信号的第一信号帧与第二信号的第二信号帧之间的匹配关系之后,则可以以所需的帧率来对任意一个信号进行呈现,或者可以同步地对两个信号进行呈现。
图3和表1仅仅是针对一种特殊情况给出了建立信号帧之间的匹配关系的示例,下面将更详细地介绍建立信号帧之间匹配关系的通用方法。
根据本公开的一个实施方式,基于对准的第一基准帧和第二基准帧,建立第一信号的第一信号帧和第二信号的第二信号帧的匹配关系包括:确定第一信号帧的第一基准帧的第一基准帧号j0;确定第二信号帧的第二基准帧的第二基准帧号i0,以及第二信号帧的第二帧号i;确定第一帧率N1与第二帧率N2的帧率比值;根据第一基准帧号j0、所述第二基准帧号i0、第二帧号i以及所述帧率比值,来确定与该第二帧号i所对应的第一信号帧的第一帧号j,从而建立第一信号的第一信号帧和第二信号的第二信号帧的匹配关系。
可以理解的是,基准帧并不必然是每个信号的首帧,而可以是一个信号的任意帧,当以任意帧作为基准帧时,则需要获知基准帧的帧号,以便于后续进行各个帧的对准。本文所述的对准,是确定一个信号的帧应当对应到另外一个信号的哪个帧。在本公开中,例如可以确定第二信号的一个帧对准到第一信号的哪个帧。
更进一步地,第一帧率N1和第二帧率N2之间的比值可能是整数,也可能是非整数,对于N1/N2为整数和N1/N2为非整数的情况,本公开采用不同的方式来处理。
根据本公开的一个实施方式,如果所述帧率比值为整数,则
j=(i-i0)*N1/N2+j0方程(1)
以图3为例来进行说明,选择第一信号(帧率N1=60Hz)的首帧作为第一基准帧,其帧号j0=1;此外,选择第二信号(帧率N2=30Hz)的首帧作为第二基准帧,其帧号i0=1;因此,可以根据方程(1)来确定第二信号的任意一个帧所对应的第一信号的帧。
例如当i=4时,则j=(4-1)*60/30+1=7,即第二信号的帧F24对应的是第一信号的帧F17;当i=6时,则j=(6-1)*60/30+1=11,即第二信号的帧F26对应的是第一信号的帧F111。
又例如,当选择第一信号(帧率N1=60Hz)的第二个帧作为第一基准帧(其帧号j0=2),选择第二信号(帧率N2=30Hz)的首帧作为第二基准帧,(其帧号i0=1)时,那么,当i=4时,则j=(4-1)*60/30+2=8,即第二信号的帧F24对应的是第一信号的帧F18;当i=6时,则j=(6-1)*60/30+2=12,即第二信号的帧F26对应的是第一信号的帧F112,从而形成如表3所示的匹配关系。
第一信号 | 60Hz | F12 | F13 | F14 | F15 | F16 | F17 | F18 | F19 | F110 | F111 | F112 |
第二信号 | 30Hz | F21 | F22 | F23 | F24 | F25 | F26 |
表3
图4示出了两个不同帧率的信号进行同步的另一个示意图。
第一信号的帧率N1和第二信号的帧率N2可能并不能整除,例如第一帧率的N1为60Hz,而第二帧率N2为50Hz,因此N1/N2=1.2。如图4所示,当第一信号的首帧F11和第二信号的首帧F21对准时,通常情况下,第二信号的第二个帧F22无法与第一信号的任何一个帧对准,因此,如果在这种情况下同步地呈现两个信号,则容易发生抖动等现象,从而影响信号的呈现质量。
在此情况下,需要调整第一信号和第二信号的帧的匹配情况,从而避免图像信号抖动或者失配的情形。
根据本公开的一个实施方式,如果所述帧率比值为非整数,则,如果j=(i-i0)*N1/N2+j0>[(i-i0)*N1/N2+j0]+0.5,则j=[j]+1;如果j=(i-i0)*N1/N2+j0<[(i-i0)*N1/N2+j0]+0.5,则j=[j];如果j=(i-i0)*N1/N2+j0=[(i-i0)*N1/N2+j0]+0.5,则j=[j]+1或j=[j],其中[]为取整符号。
在此实施方式中,首先确定第二信号的帧与第一信号的哪个帧更靠近,然后将第二信号的帧与第一信号中更靠近的帧进行匹配。
例如,设N1=60,N2=50,并且第一信号和第二信号的首帧F11和F21对准,那么对于第二信号的第二个帧F22,则
j=(2-1)*N1/N2+1=2.2
理论上,第二信号的第二个帧F22应当与第一信号的第“2.2”个帧对准,但第一信号中并不存在第“2.2”个帧。
接下来,可以计算[(i-i0)*N1/N2+j0]+0.5=2.5,
因此2.2<2.5,其更靠近第一信号的第2个帧,因此可以将第二信号的第二个帧与第一信号的第二个帧对准。
又例如,设N1=60,N2=50,并且第一信号和第二信号的首帧F11和F21对准,那么对于第二信号的第四个帧F24,则
j=(4-1)*N1/N2+1=4.6
理论上,第二信号的第四个帧F24应当与第一信号的第“4.6”个帧对准,但第一信号中并不存在第“4.6”个帧。
接下来,可以计算[(i-i0)*N1/N2+j0]+0.5=4.5,
因此4.6>4.5,其更靠近第一信号的第5个帧,因此可以将第二信号的第四个帧与第一信号的第五个帧对准。
对于某些情况,例如N1=60Hz,N2=40Hz,则第二信号的每个帧刚好处于第一信号的两个帧的中间,在此情况下,可以将第二信号的帧匹配到第一信号的上一帧或者下一帧。
以此类推,可以得到第一信号和第二信号每个帧的匹配关系,如下面的表4所示。
表4
从表4中可以看出,在此情况下,第一信号和第二信号对准的帧并不均匀。在实际的传感器系统中,由于通常会缓存多个帧,例如第一传感器会缓存第一信号的帧F11-F111,而第二传感器会缓存第二信号的帧F21-F29,可以通过控制第一传感器和第二传感器发送帧的时序来形成每个帧的匹配和同步,例如,在第一传感器发送第一个帧时,第二个传感器同步地发送第一个帧;第一传感器在发送第二个帧时,第二个传感器同步地发送第二个帧;第一传感器在发送第三个帧时,第二个传感器同步地发送第三个帧;第一传感器在发送第四个帧时,第二个传感器不发送任何帧;第一传感器在发送第五个帧时,第二个传感器同步地发送第四个帧;以此类推,从而形成第一信号和第二信号中每个帧的同步。
需要理解的是,对于两个帧率不能整除的情况,上面给出的计算方式仅仅是一个示例,而不是对本公开技术方案的限定。
例如,对于N1/N2为非整数的情形,可以直接根据四舍五入的方式来确定帧的对应关系,例如,如果(i-i0)*N1/N2+j0=3.4,那么根据四舍五入,第二信号的相应帧应当匹配到第一信号的第三个帧;如果(i-i0)*N1/N2+j0=6.5,那么根据四舍五入,第二信号的相应帧应当匹配到第一信号的第七帧。
又例如,对于N1/N2为非整数的情形,可以统一地规定向上匹配或者向下匹配。例如,如果规定向上匹配,那么当(i-i0)*N1/N2+j0=3.4时,第二信号的相应帧应当匹配到第一信号的第四帧;如果规定向下匹配,那么当(i-i0)*N1/N2+j0=3.4时,第二信号的相应帧应当匹配到第一信号的第三帧。匹配的方法有多种,本公开不做限制。
在另一个实施方式中,传感器可以直接将每个帧发送到呈现设备,并由呈现设备来缓存每个帧。例如,第一传感器可以将帧F11-F111发送到呈现设备,并由呈现设备进行缓存;第二传感器可以将帧F21-F29发送到呈现设备,并由呈现设备进行缓存。当呈现设备要同步地呈现第一信号和第二信号时,可以根据表4的匹配关系来同步地呈现第一信号和第二信号。具体而言,呈现设备可以同步地呈现帧F11和F21,F12和F22,F13和F23,F15和F24,F16和F25,F17和F26,F18和F27,F19和F28,以及F111和F29。
当确定了第一信号和第二信号的匹配关系之后,可以以期望的帧率来呈现相应的信号。
根据本公开的一个实施方式,基于所述匹配关系,以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号可以包括:如果第一信号帧处对应地存在第二信号帧,则以第一帧率N1来至少呈现第二信号。
在此实施方式中,当具有不同帧率的信号中的帧彼此对准之后,高帧率信号中的某些帧并不必然与低帧率信号的某个帧对准,例如表1中第一信号的帧F12,F14,F16,F18和F110处并不存在对应的第二信号的帧,表4中第一信号的帧F14和F110处也不存在对应的第二信号的帧。
在此情况下,可以以期望的更高帧率(例如以第一信号的帧率)来单独地呈现第二信号中的每个帧。
根据本公开的另一个实施方式,如果第一信号帧处对应地存在第二信号帧,则以第一帧率N1来同步地呈现第一信号的第一信号帧和第二信号的第二信号帧。
在此实施方式中,可以以期望的更高帧率(例如以第一信号的帧率)来同步地呈现第一信号中的每个帧和第二信号中的每个帧。
根据本公开的另一个实施方式,基于所述匹配关系,以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号包括:如果第一信号帧处对应的第二信号帧为空白,则通过对第二信号帧插黑或者插入现有的第二信号帧,以第一信号的第一帧率N1来至少呈现插黑帧或插入的现有的第二信号帧;优选地,如果第一信号帧处对应的第二信号帧为空白,则通过对第二信号帧插黑或者插入现有的第二信号帧,以第一信号的第一帧率N1同步地呈现第一信号的第一信号帧和第二信号中的插黑帧或插入的现有的第二信号帧。
如上文所述,高帧率信号中的某些帧并不必然与低帧率信号的某个帧对准,这就需要在以高帧率来呈现低帧率信号时对低帧率信号进行一定的处理。
根据本公开的一个实施方式,如果第一信号帧处对应的第二信号帧为空白,则可以在第二信号中的相应位置处插黑;或者插入第二信号中现有的帧,优选地插入第二信号中相邻的上一帧。对于视频而言,由于视觉停留的作用,插黑或者插入第二信号中现有的帧并不会引起图像的抖动,也不会降低用户体验。需要理解的是,本公开中的插黑操作或者插入第二信号中现有的帧仅仅是一种示例,而不是对本公开技术方案的限定,可以插入任何希望的内容,例如甚至可以在第二信号中插入第一信号对应的帧。
图5a和图5b示出了在低帧率信号中插黑或者插入现有帧的示意图。
如图5a所示,由于第一信号的帧F12,F14,F16,F18和F110处并不存在对应的第二信号的帧,因此可以在第二信号中相应的位置处插黑。插黑的帧例如可以是不包含任何意义的空白帧FV1-FV5等。从而当同步地以第一信号的帧率来呈现第一信号和第二信号时,不会出现信号的抖动,漂移等现象。
如图5b所示,由于第一信号的帧F12,F14,F16,F18和F110处并不存在对应的第二信号的帧,因此可以在第二信号中相应的位置处插入第二信号中的现有帧,优选地是第二信号中的上一帧。例如,可以在帧F21和F22之间插入帧F21(表示为F21’),可以在帧F22和F23之间插入帧F22(表示为F22’),可以在帧F23和F24之间插入帧F23(表示为F23’),可以在帧F24和F25之间插入帧F24(表示为F24’);以及可以在帧F25之后插入帧F25(表示为F25’)。
上面以两个信号为例描述了将不同帧率的信号进行同步的实施方式。但本公开的技术方案并不局限于仅对两个信号进行同步。
图6示出了根据本公开一个方面的同步地呈现多个信号的方法流程示意图,其中,所述多个信号包括具有最高帧率Nmax的第一信号和具有其他帧率Nother的多个第二信号,其中所述最高帧率Nmax大于其他帧率Nother,第一信号包括第一信号帧,第二信号包括第二信号帧;所述方法包括:在操作S610,将第一信号的第一基准帧与多个第二信号的第二基准帧对准;在操作S620,基于对准的第一基准帧和第二基准帧,建立第一信号的第一信号帧和第二信号的第二信号帧的匹配关系;以及在操作S630,基于所述匹配关系,以第一信号的最高帧率Nmax来同步地呈现所述第一信号和多个第二信号。
在本实施方式中,需要理解的是,最高帧率Nmax是所有要呈现的信号中的最高帧率,而其他信号统一称为第二信号。因此,在图6所示的实施方式中,第二信号并不是一个单独的信号,而是一组包含了多个信号的信号组。第二信号的其他帧率Nother也不是一个单一的帧率,而是可以包括多个不同的帧率。
在该实施方式中,首先将所有信号的基准帧对准,然后再根据上文所述的方式来确定每个帧之间的匹配关系或对应关系,最后在基于确定的匹配关系或对应关系来以最高帧率Nmax来同步地呈现多个信号。这样的同步过程与上文中以图1-图5b的描述相同,这里将不再赘述。
在上文中,均是以最高帧率来呈现多个信号,但本公开的技术方案并不局限于此。
图7出了根据本公开另一个方面的同步地呈现多个信号的方法流程示意图,其中,所述多个信号包括具有第一帧率Nhigh的第一信号,具有第二帧率Nmid的第二信号和具有第三帧率Nlow的第三信号,其中,所述第二帧率Nmid低于第一帧率Nhigh,并且所述第二帧率Nmid高于第三帧率Nlow,第一信号包括第一信号帧,第二信号包括第二信号帧,第三信号包括第三信号帧,所述方法包括:在操作S710,将第一信号的第一基准帧,第二信号的第二基准帧以及第三信号的第三基准帧对准;在操作S720,基于对准的第一基准帧、第二基准帧和第三基准帧,建立第一信号的第一信号帧、第二信号的第二信号帧以及第三信号的第三信号帧的匹配关系;以及在操作S730,基于所述匹配关系,以第二信号的第二帧率Nmid来同步地呈现第一信号、第二信号和第三信号。
在本公开的技术方案中,首先如上文所述,将不同信号的基准帧对准。所述第一基准帧为可以为第一信号的首帧,第二基准帧可以为第二信号的首帧,并且第三基准帧可以为第三信号的首帧。这样的过程在上文中已经描述了,这里将不再赘述。
接下来,建立第一信号帧、第二信号帧以及第三信号帧的匹配关系。建立匹配关系包括选择其中某一个信号作为基础,来建立与所有其他信号的匹配关系,例如,可以基于第一信号来建立第一信号与第二信号的匹配关系,然后再基于第一信号来建立第一信号与第三信号的匹配关系,以此类推,可以建立所有信号的匹配关系。
根据本公开的一个实施方式,基于对准的第一基准帧、第二基准帧和第三基准帧,建立第一信号的第一信号帧、第二信号的第二信号帧以及第三信号的第三信号帧的匹配关系可以包括:
首先建立第一信号的第一信号帧与第二信号的第二信号帧之间的匹配关系:确定第一信号帧的第一基准帧的第一基准帧号j0;确定第二信号帧的第二基准帧的第二基准帧号i0,以及第二信号帧的第二帧号i;确定第一帧率Nhigh与第二帧率Nmid的第一帧率比值;以及根据第一基准帧号j0、所述第二基准帧号i0、第二帧号i和第一帧率比值,来确定与该第二帧号i所对应的第一信号帧的第一帧号j,从而建立第一信号的第一信号帧与第二信号的第二信号帧的第一匹配关系。
接下来,建立第一信号的第一信号帧与第三信号的第三信号帧之间的匹配关系:确定第三信号帧的第三基准帧的第三基准帧号k0,以及第三信号帧的第三帧号k;确定第一帧率Nhigh与第三帧率Nlow的第二帧率比值;根据第一基准帧号j0、所述第三基准帧号k0、第三帧号k和第二帧率比值,来确定与该第三帧号k所对应的第一信号帧的第一帧号j,从而建立第一信号的第一信号帧与第三信号的第三信号帧的第二匹配关系。
根据本公开的一个实施方式,如果所述第一帧率Nhigh/Nmid的比值为整数,则j=(i-i0)*Nhigh/Nmid+j0。
根据本公开的另一个实施方式,如果所述第一帧率比值为非整数,则,如果j=(i-i0)*Nhigh/Nmid+j0>[(i-i0)*Nhigh/Nmid+j0]+0.5,则j=[j]+1;如果j=(i-i0)*Nhigh/Nmid+j0<[(i-i0)*Nhigh/Nmid+j0]+0.5,则j=[j];如果j=(i-i0)*Nhigh/Nmid+j0=[(i-i0)*Nhigh/Nmid+j0]+0.5,则j=[j]+1或j=[j],其中[]为取整符号。
根据本公开的又一个实施方式,如果所述第二帧率比值Nhigh/Nlow为整数,则j=(k-k0)*Nhigh/Nlow+j0。
根据本公开的再一个实施方式,其中,如果所述第二帧率比值为非整数,则,如果j=(k-k0)*Nhigh/Nlow+j0>[(k-k0)*Nhigh/Nlow+j0]+0.5,则j=[j]+1;如果j=(k-k0)*Nhigh/Nlow+j0<[(k-k0)*Nhigh/Nlow+j0]+0.5,则j=[j];如果j=(k-k0)*Nhigh/Nlow+j0=[(k-k0)*Nhigh/Nlow+j0]+0.5,则j=[j]+1或j=[j],其中[]为取整符号。
上述建立第一匹配关系和第二匹配关系的过程在上文中已经结合表1-表4进行了详细的描述,这里将不再赘述。
根据本公开的一个实施方式,基于所述匹配关系,以第二信号的第二帧率Nmid来同步地呈现第一信号、第二信号和第三信号包括:如果第二信号帧处对应地存在第一信号帧和/或第三信号帧,则以第二帧率Nmid来同步地呈现第二信号的第二信号帧以及第一信号的第一信号帧和/或第三信号的第三信号帧。
根据本公开的又一个实施方式,基于所述匹配关系,以第二信号的第二帧率Nmid来同步地呈现第一信号、第二信号和第三信号包括:将第一信号中与第二信号帧无对应关系的第一信号帧丢弃;和/或如果第二信号帧处对应的第三信号帧为空白,则通过对第三信号帧插黑或者插入现有的第三信号帧;从而以第二信号的第二帧率Nmid同步地呈现第二信号的第二信号帧、第一信号的第一信号帧和第三信号中的插黑帧或插入的现有的第三信号帧。
图8示例性地示出了根据表2的信号呈现的示意图。
如图8所示,第一信号的帧率Nhigh例如为60Hz,第二信号的帧率Nmid例如为30Hz,第三信号帧率例Nlow例如为15Hz。第一信号、第二信号和第三信号的基准帧分别为F11、F21和F31,在此情况下,第一信号的帧F12不与任何其他帧匹配;第一信号的帧F13与第二信号的帧F22匹配,而不与第三信号的任何帧匹配;第一信号的帧F14不与任何其他帧匹配;第一信号的帧F15与第二信号的帧F23以及第三信号的帧F32匹配;第一信号的帧F16不与任何其他帧匹配;第一信号的帧F17与第二信号的帧F24匹配,而不与第三信号的任何帧匹配;第一信号的帧F18不与任何其他帧匹配;第一信号的帧F19与第二信号的帧F25以及第三信号的帧F33匹配。
如图8所示,与图5a和图5b的方案有所不同的是,在图5a和图5b中,以最高帧率为基础来呈现第一信号和第二信号;而在本公开中,以中等帧率为基础来呈现第一信号、第二信号和第三信号。
在此情况下,在同步地呈现第一信号、第二信号和第三信号时,则需要对更高帧率Nhigh的第一信号以及更低帧率Nlow的第二信号采用不同的措施。
当将更低帧率Nlow的第三信号以中等帧率Nmid与第二信号同步地呈现时,那么如果第二信号帧处对应的第三信号帧为空白,则通过对第三信号帧插黑或者插入现有的第三信号帧;而当将更高帧率Nhigh的第一信号以中等帧率Nmid与第二信号同步地呈现时,则可以将第一信号中与第二信号帧无对应关系的第一信号帧丢弃。由此,可以以第二信号的第二帧率Nmid同步地呈现第二信号的第二信号帧、第一信号的第一信号帧和第三信号中的插黑帧或插入的现有的第三信号帧。
如图8所示,当以中等帧率Nmid来同步地呈现不同信号时,具有较高帧率Nhigh的第一信号中的帧F12、F14、F16、F18和F110被丢弃,而可以在具有较低帧率Nlow的第三信号中进行插黑或者插入第三信号中现有的帧,例如插入空白帧FV1和FV2。经过上述方案的处理之后,则可以以中等帧率Nmid来同步地呈现第一信号、第二信号和第三信号。
本公开提供的技术方案实现了一种低帧率向高帧率转换的方式,并且还能够将多个具有不同帧率的信号同步到一个任意的帧率,从而能够同步地显示不同的信号内容。该任意的帧率可以是多个信号中的最高帧率,也可以是中等帧率。本公开的技术方案能够根据用户需要灵活地选择不同的呈现模式。例如,对于帧率要求较高的场景下,用户可以选择更高的帧率来呈现不同的信号,而对于帧率要求不高但对速度要求较高的场景,用户可以选择较低的帧率来呈现不同的信号。
本公开还提供一种电子设备,包括:一个或多个处理器;以及存储器,所述存储器中存储有计算机可执行指令,当所述计算机可执行指令由所述一个或多个处理器运行时,使得所述电子设备执行如上所述的方法。
本公开还提供一种计算机可读存储介质,包括计算机可执行指令,当所述计算机可执行指令由一个或多个处理器运行时,执行如上所述的方法。
本公开的技术方案可应用于人工智能领域,实现为或者实现在人工智能芯片中。该芯片可以单独存在,也可以包含在计算装置中。
图9示出了一种组合处理装置900,其包括上述的计算装置902,通用互联接口904,和其他处理装置906。根据本公开的计算装置与其他处理装置进行交互,共同完成用户指定的操作。图9为组合处理装置的示意图。
其他处理装置,包括中央处理器CPU、图形处理器GPU、神经网络处理器等通用/专用处理器中的一种或以上的处理器类型。其他处理装置所包括的处理器数量不做限制。其他处理装置作为机器学习运算装置与外部数据和控制的接口,包括数据搬运,完成对本机器学习运算装置的开启、停止等基本控制;其他处理装置也可以和机器学习运算装置协作共同完成运算任务。
通用互联接口,用于在计算装置(包括例如机器学习运算装置)与其他处理装置间传输数据和控制指令。该计算装置从其他处理装置中获取所需的输入数据,写入该计算装置片上的存储装置;可以从其他处理装置中获取控制指令,写入计算装置片上的控制缓存;也可以读取计算装置的存储模块中的数据并传输给其他处理装置。
可选的,该结构还可以包括存储装置908,存储装置分别与所述计算装置和所述其他处理装置连接。存储装置用于保存在所述计算装置和所述其他处理装置的数据,尤其适用于所需要运算的数据在本计算装置或其他处理装置的内部存储中无法全部保存的数据。
该组合处理装置可以作为手机、机器人、无人机、视频监控设备等设备的SOC片上系统,有效降低控制部分的核心面积,提高处理速度,降低整体功耗。此情况时,该组合处理装置的通用互联接口与设备的某些部件相连接。某些部件譬如摄像头,显示器,鼠标,键盘,网卡,wifi接口。其中,为了清楚起见,还示出了通过通用互联接口904与该组合处理装置900相连接的传感器。该传感器可以是多个提供不同帧率的信号的传感器。本公开中不对传感器的类型、数量以及所提供的信号的帧率进行任何限定。
在一些实施例里,本披露还公开了一种芯片封装结构,其包括了上述芯片。
在一些实施例里,本披露还公开了一种板卡,其包括了上述芯片封装结构。参阅图10,其提供了一种示例性的板卡,上述板卡除了包括上述芯片1002以外,还可以包括其他的配套部件,该配套部件包括但不限于:存储器件1004、接口装置1006和控制器件1008。
所述存储器件与所述芯片封装结构内的芯片通过总线连接,用于存储数据。所述存储器件可以包括多组存储单元1010。每一组所述存储单元与所述芯片通过总线连接。可以理解,每一组所述存储单元可以是DDR SDRAM(英文:Double Data Rate SDRAM,双倍速率同步动态随机存储器)。
DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中,所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中,所述芯片内部可以包括4个72位DDR4控制器,上述72位DDR4控制器中64bit用于传输数据,8bit用于ECC校验。在一个实施例中,每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器,用于对每个所述存储单元的数据传输与数据存储的控制。
所述接口装置与所述芯片封装结构内的芯片电连接。所述接口装置用于实现所述芯片与外部设备1812(例如服务器或计算机)之间的数据传输。例如在一个实施例中,所述接口装置可以为标准PCIE接口。比如,待处理的数据由服务器通过标准PCIE接口传递至所述芯片,实现数据转移。在另一个实施例中,所述接口装置还可以是其他的接口,本披露并不限制上述其他的接口的具体表现形式,所述接口单元能够实现转接功能即可。另外,所述芯片的计算结果仍由所述接口装置传送回外部设备(例如服务器)。
所述控制器件与所述芯片电连接。所述控制器件用于对所述芯片的状态进行监控。具体的,所述芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit,MCU)。如所述芯片可以包括多个处理芯片、多个处理核或多个处理电路,可以带动多个负载。因此,所述芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述芯片中多个处理芯片、多个处理和/或多个处理电路的工作状态的调控。
在一些实施例里,本披露还公开了一种电子设备或装置,其包括了上述板卡。
电子设备或装置包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆;所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机;所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本披露并不受所描述的动作顺序的限制,因为依据本披露,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本披露所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本披露所提供的几个实施例中,应该理解到,所披露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、光学、声学、磁性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本披露各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,当本披露的技术方案可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本披露各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本披露实施例进行了详细介绍,本文中应用了具体个例对本披露的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本披露的方法及其核心思想;同时,对于本领域的一般技术人员,依据本披露的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本披露的限制。
Claims (19)
1.一种以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号的方法,其中所述第一帧率N1大于第二帧率N2,第一信号包括第一信号帧,第二信号包括第二信号帧,所述方法包括:
将第一信号的第一基准帧与第二信号的第二基准帧对准;
基于对准的第一基准帧和第二基准帧,建立第一信号的第一信号帧和第二信号的第二信号帧的匹配关系;以及
基于所述匹配关系,以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号。
2.根据权利要求1所述的方法,其中,所述第一基准帧为第一信号的首帧,第二基准帧为第二信号的首帧。
3.根据权利要求1或2所述的方法,其中,基于对准的第一基准帧和第二基准帧,建立第一信号的第一信号帧和第二信号的第二信号帧的匹配关系包括:
确定第一信号帧的第一基准帧的第一基准帧号j0;
确定第二信号帧的第二基准帧的第二基准帧号i0,以及第二信号帧的第二帧号i;
确定第一帧率N1与第二帧率N2的帧率比值;
根据第一基准帧号j0、所述第二基准帧号i0、第二帧号i以及所述帧率比值,来确定与该第二帧号i所对应的第一信号帧的第一帧号j,从而建立第一信号的第一信号帧和第二信号的第二信号帧的匹配关系。
4.根据权利要求3所述的方法,其中,如果所述帧率比值为整数,则j=(i-i0)*N1/N2+j0。
5.根据权利要求3所述的方法,其中,如果所述帧率比值为非整数,则,
如果j=(i-i0)*N1/N2+j0>[(i-i0)*N1/N2+j0]+0.5,则j=[j]+1;
如果j=(i-i0)*N1/N2+j0<[(i-i0)*N1/N2+j0]+0.5,则j=[j];
如果j=(i-i0)*N1/N2+j0=[(i-i0)*N1/N2+j0]+0.5,则j=[j]+1或j=[j],
其中[]为取整符号。
6.根据权利要求1-5中任意一项所述的方法,其中,基于所述匹配关系,以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号包括:
如果第一信号帧处对应地存在第二信号帧,则以第一帧率N1来至少呈现第二信号;
优选地,如果第一信号帧处对应地存在第二信号帧,则以第一帧率N1来同步地呈现第一信号的第一信号帧和第二信号的第二信号帧。
7.根据权利要求1-6中任意一项所述的方法,其中,基于所述匹配关系,以第一信号的第一帧率N1来呈现具有第二帧率N2的第二信号包括:
如果第一信号帧处对应的第二信号帧为空白,则通过对第二信号帧插黑或者插入现有的第二信号帧,以第一信号的第一帧率N1来至少呈现插黑帧或插入的现有的第二信号帧;
优选地,如果第一信号帧处对应的第二信号帧为空白,则通过对第二信号帧插黑或者插入现有的第二信号帧,以第一信号的第一帧率N1同步地呈现第一信号的第一信号帧和第二信号中的插黑帧或插入的现有的第二信号帧。
8.一种同步地呈现多个信号的方法,其中,所述多个信号包括具有最高帧率Nmax的第一信号和具有其他帧率Nother的多个第二信号,其中所述最高帧率Nmax大于其他帧率Nother,第一信号包括第一信号帧,第二信号包括第二信号帧;
将第一信号的第一基准帧与多个第二信号的第二基准帧对准;
基于对准的第一基准帧和第二基准帧,建立第一信号的第一信号帧和第二信号的第二信号帧的匹配关系;以及
基于所述匹配关系,以第一信号的最高帧率Nmax来同步地呈现所述第一信号和多个第二信号。
9.一种同步地呈现多个信号的方法,其中,所述多个信号包括具有第一帧率Nhigh的第一信号,具有第二帧率Nmid的第二信号和具有第三帧率Nlow的第三信号,其中,所述第二帧率Nmid低于第一帧率Nhigh,并且所述第二帧率Nmid高于第三帧率Nlow,第一信号包括第一信号帧,第二信号包括第二信号帧,第三信号包括第三信号帧,所述方法包括:
将第一信号的第一基准帧,第二信号的第二基准帧以及第三信号的第三基准帧对准;
基于对准的第一基准帧、第二基准帧和第三基准帧,建立第一信号的第一信号帧、第二信号的第二信号帧以及第三信号的第三信号帧的匹配关系;以及
基于所述匹配关系,以第二信号的第二帧率Nmid来同步地呈现第一信号、第二信号和第三信号。
10.根据权利要求9所述的方法,其中,所述第一基准帧为第一信号的首帧,第二基准帧为第二信号的首帧和第三基准帧为第三信号的首帧。
11.根据权利要求9或10所述的方法,其中,基于对准的第一基准帧、第二基准帧和第三基准帧,建立第一信号的第一信号帧、第二信号的第二信号帧以及第三信号的第三信号帧的匹配关系包括:
确定第一信号帧的第一基准帧的第一基准帧号j0;
确定第二信号帧的第二基准帧的第二基准帧号i0,以及第二信号帧的第二帧号i;
确定第三信号帧的第三基准帧的第三基准帧号k0,以及第三信号帧的第三帧号k;
确定第一帧率Nhigh与第二帧率Nmid的第一帧率比值;
确定第一帧率Nhigh与第三帧率Nlow的第二帧率比值;
根据第一基准帧号j0、所述第二基准帧号i0、第二帧号i和第一帧率比值,来确定与该第二帧号i所对应的第一信号帧的第一帧号j,从而建立第一信号的第一信号帧与第二信号的第二信号帧的第一匹配关系;
根据第一基准帧号j0、所述第三基准帧号k0、第三帧号k和第二帧率比值,来确定与该第三帧号k所对应的第一信号帧的第一帧号j,从而建立第一信号的第一信号帧与第三信号的第三信号帧的第二匹配关系。
12.根据权利要求11所述的方法,其中,如果所述第一帧率比值为整数,则j=(i-i0)*Nhigh/Nmid+j0。
13.根据权利要求11所述的方法,其中,如果所述第一帧率比值为非整数,则,
如果j=(i-i0)*Nhigh/Nmid+j0>[(i-i0)*Nhigh/Nmid+j0]+0.5,则j=[j]+1;
如果j=(i-i0)*Nhigh/Nmid+j0<[(i-i0)*Nhigh/Nmid+j0]+0.5,则j=[j];
如果j=(i-i0)*Nhigh/Nmid+j0=[(i-i0)*Nhigh/Nmid+j0]+0.5,则j=[j]+1或j=[j],
其中[]为取整符号。
14.根据权利要求11所述的方法,其中,如果所述第二帧率比值为整数,则j=(k-k0)*Nhigh/Nlow+j0。
15.根据权利要求11所述的方法,其中,如果所述第二帧率比值为非整数,则,
如果j=(k-k0)*Nhigh/Nlow+j0>[(k-k0)*Nhigh/Nlow+j0]+0.5,则j=[j]+1;
如果j=(k-k0)*Nhigh/Nlow+j0<[(k-k0)*Nhigh/Nlow+j0]+0.5,则j=[j];
如果j=(k-k0)*Nhigh/Nlow+j0=[(k-k0)*Nhigh/Nlow+j0]+0.5,则j=[j]+1或j=[j],
其中[]为取整符号。
16.根据权利要求11-15中任意一项所述的方法,其中,基于所述匹配关系,以第二信号的第二帧率Nmid来同步地呈现第一信号、第二信号和第三信号包括:
如果第二信号帧处对应地存在第一信号帧和/或第三信号帧,则以第二帧率Nmid来同步地呈现第二信号的第二信号帧以及第一信号的第一信号帧和/或第三信号的第三信号帧。
17.根据权利要求11-16中任意一项所述的方法,其中,基于所述匹配关系,以第二信号的第二帧率Nmid来同步地呈现第一信号、第二信号和第三信号包括:
将第一信号中与第二信号帧无对应关系的第一信号帧丢弃;和/或
如果第二信号帧处对应的第三信号帧为空白,则通过对第三信号帧插黑或者插入现有的第三信号帧;
从而以第二信号的第二帧率Nmid同步地呈现第二信号的第二信号帧、第一信号的第一信号帧和第三信号中的插黑帧或插入的现有的第三信号帧。
18.一种电子设备,包括:
一个或多个处理器;以及
存储器,所述存储器中存储有计算机可执行指令,当所述计算机可执行指令由所述一个或多个处理器运行时,使得所述电子设备执行如权利要求1-17中任意一项所述的方法。
19.一种计算机可读存储介质,包括计算机可执行指令,当所述计算机可执行指令由一个或多个处理器运行时,执行如权利要求1-17中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111618880.5A CN116366782A (zh) | 2021-12-27 | 2021-12-27 | 不同帧率的信号的呈现方法和相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111618880.5A CN116366782A (zh) | 2021-12-27 | 2021-12-27 | 不同帧率的信号的呈现方法和相关产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116366782A true CN116366782A (zh) | 2023-06-30 |
Family
ID=86936341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111618880.5A Pending CN116366782A (zh) | 2021-12-27 | 2021-12-27 | 不同帧率的信号的呈现方法和相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116366782A (zh) |
-
2021
- 2021-12-27 CN CN202111618880.5A patent/CN116366782A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10049642B2 (en) | Sending frames using adjustable vertical blanking intervals | |
US10235964B2 (en) | Splicing display system and display method thereof | |
US8624817B2 (en) | Method of synchronizing a driving device and display apparatus for performing the method | |
CN101256762B (zh) | 多屏拼接方法及装置 | |
CN102142236B (zh) | 针对高分辨率隔行扫描视频信号的液晶显示驱动器 | |
US8884938B2 (en) | Data driving apparatus and operation method thereof and display using the same | |
CN103021378A (zh) | 一种多屏拼接显示装置和方法 | |
JPH1152940A (ja) | マルチディスプレイ立体コンピュータグラフィックスシステムにおける左右チャンネル表示と垂直リフレッシュの同期 | |
US10613811B2 (en) | Driving multiple display devices with a single display port | |
CN204859440U (zh) | 音视频播放设备 | |
CN204836434U (zh) | 音视频播放设备 | |
KR101742182B1 (ko) | 영상 데이터 처리 방법, 및 이를 수행하는 표시 장치 | |
TWI514844B (zh) | 具有視訊格式轉換的時序控制裝置、時序控制裝置的方法以及其顯示系統 | |
US10021363B2 (en) | Method and apparatus for processing source image to generate target image | |
CN102497526B (zh) | 一种同一链路显示多路视频的方法及系统 | |
US20120120190A1 (en) | Display device for use in a frame sequential 3d display system and related 3d display system | |
CN104766570B (zh) | 同步驱动模块的方法和执行该方法的显示装置 | |
CN103607583A (zh) | 一种快门式三维图像显示方法、装置及系统 | |
CN205005201U (zh) | 一种音视频播放设备 | |
CN111193953A (zh) | 一种多个拼接显示屏视频同步的显示系统及其方法 | |
WO2014048000A1 (zh) | 液晶显示装置的驱动方法及其驱动系统 | |
CN104766562A (zh) | 一种显示面板的驱动方法和驱动系统 | |
KR20130093432A (ko) | 구동 장치, 이를 포함하는 표시 장치 및 그 구동 방법 | |
CN116366782A (zh) | 不同帧率的信号的呈现方法和相关产品 | |
KR101740390B1 (ko) | 표시 패널의 구동 방법, 이를 수행하기 위한 표시 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |