CN117156075B - 视频采集注入装置、系统、汽车及回注设备 - Google Patents
视频采集注入装置、系统、汽车及回注设备 Download PDFInfo
- Publication number
- CN117156075B CN117156075B CN202310999012.9A CN202310999012A CN117156075B CN 117156075 B CN117156075 B CN 117156075B CN 202310999012 A CN202310999012 A CN 202310999012A CN 117156075 B CN117156075 B CN 117156075B
- Authority
- CN
- China
- Prior art keywords
- video
- acquisition
- real
- data
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002347 injection Methods 0.000 title claims abstract description 77
- 239000007924 injection Substances 0.000 title claims abstract description 77
- 238000012545 processing Methods 0.000 claims description 90
- 239000000872 buffer Substances 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种视频采集注入装置、系统、汽车及回注设备，其中，视频注入采集装置包括：视频信号复用电路，具有采集状态与回注状态；所述视频信号复用电路被配置为处于采集状态时，逐帧获取源自视频采集设备的实时采集视频数据，并将所述实时采集视频数据反馈至非域控制器的视频需求设备；所述视频信号复用电路被配置为处于回注状态时，获取源自信源设备的非实时采集视频数据，并将所述非实时采集视频数据的图像逐帧回注至第一域控制器；本发明技术方案旨在对视频注入采集装置进行复用，以提高视频注入采集装置的功能兼容性。
Description
技术领域
本发明涉及自动驾驶技术领域，特别涉及一种视频采集注入装置、系统、汽车及回注设备。
背景技术
目前，在对自动驾驶算法进行开发的过程中，需要对域控制器的算法（例如神经网络）进行训练、验证等工作，因此，需要通过视频注入装置向控制器回注各种视频数据，视频数据的数据源不仅可以包括相机采集的真实数据，还可以包括外部设备输出的仿真数据，现有的视频注入装置仅能将已输入的数据进行注入，功能比较单一。
发明内容
本发明的主要目的是提供一种视频采集注入装置、系统、汽车及回注设备，旨在对扩展视频注入采集装置的功能，以提高视频注入采集装置的功能兼容性。
为实现上述目的，本发明提出的视频注入采集装置，所述视频注入采集装置包括：
视频信号复用电路，具有采集状态与回注状态；
所述视频信号复用电路被配置为处于采集状态时，逐帧获取源自视频采集设备的实时采集视频数据，并将所述实时采集视频数据反馈至非域控制器的视频需求设备；
所述视频信号复用电路被配置为处于回注状态时，获取源自信源设备的非实时采集视频数据，并将所述非实时采集视频数据的图像逐帧回注至第一域控制器；
所述采集状态包括第一采集状态和/或第二采集状态；所述回注状态包括第一回注状态和/或第二回注状态；
所述视频信号复用电路被配置为处于所述第一采集状态时，通过计算机总线接口将所述实时采集视频数据反馈至作为所述视频需求设备的第一计算机；
所述视频信号复用电路被配置为处于所述第二采集状态时，通过视频流输出接口将所述实时采集视频数据反馈至作为所述视频需求设备的处理设备；
所述回注状态包括第一回注状态和/或第二回注状态；
所述视频信号复用电路被配置为处于所述第一回注状态时，通过所述计算机总线接口自作为所述信源设备的第二计算机获取所述非实时采集视频数据的图像；
所述视频信号复用电路被配置为处于所述第二回注状态时，通过所述视频流接收接口自作为所述信源设备的工控机获取所述非实时采集视频数据的图像。
在一些实施例中，所述视频信号复用电路还被配置为处于所述第二采集状态时，通过视频流输出接口将所述实时采集视频数据反馈至第二域控制器。
在一些实施例中，所述视频信号复用电路包括：数据接入单元、数据输出单元、缓存模块与数据处理单元；
数据接入单元，所述数据接入单元与所述视频流接收接口电连接，用于处于所述采集状态时，自所述视频流接收接口接入所述实时采集视频数据；处于所述第二回注状态时，自所述视频流接收接口接入所述非实时采集视频数据；将接入实时采集视频数据或非实时采集视频数据直接或间接输出至数据处理单元；
数据处理单元，用于对输入至所述数据接入单元的实时采集视频数据或非实时采集视频数据进行预设处理后输出，或者，将输入至所述数据处理单元的实时采集视频数据或非实时采集视频数据输出；
数据输出单元，用于：
在处于所述第一采集状态时，通过所述计算机总线接口将所述数据处理单元输出的所述实时采集视频数据反馈至所述第一计算机；
在处于所述第二采集状态时，通过所述视频流输出接口将所述数据处理单元输出的所述实时采集视频数据反馈至所述处理设备；
在处于所述第二回注状态时，通过所述视频流输出接口将所述数据处理单元输出的所述非实时采集视频数据的图像逐帧回注至所述第一域控制器。
在一些实施例中，输出处理单元，还用于：
在处于所述第一回注状态时，通过所述计算机总线接口自所述第二计算机获取所述非实时采集视频数据的图像，并将获取到的所述非实时采集视频数据的图像逐帧回注至所述第一域控制器。
在一些实施例中，所述视频信号复用电路还包括：
缓存模块，用于将所述数据处理单元输出的实时采集视频数据或非实时采集视频数据储存；或者，将所述第二计算机输出的所述非实时采集视频数据储存。
在一些实施例中，所述视频信号复用电路还包括：
配置单元，所述配置单元响应于所述第一计算机、控制模块、存储器的配置，确定所述视频信号复用电路的状态。
本发明还提出一种视频注入采集系统，包括信源设备、处理设备、第一域控制器、视频采集设备及上述的视频注入采集装置，所述视频注入采集装置分别与所述信源设备、所述处理设备、所述第一域控制器及所述视频采集设备电连接。
本发明还提出一种汽车，包括上述的采集装置，且所述视频注入采集装置处于所述采集状态；所述汽车还包括所述视频采集设备。
本发明还提出一种回注设备，包括上述的视频注入采集装置，且所述视频注入采集装置处于所述回注状态，所述回注设备还包括所述信源设备。
本发明通过采用视频信号复用电路，将视频注入采集装置进行复用，使视频注入采集装置能够同时兼容回注与采集两种功能。视频信号复用电路在接入信源设备时，能够将信源设备输出的非实时采集视频数据回注进第一域控制器，实现对第一域控制器的训练或验证，而在接入视频采集设备时，例如，能够对接入的实时采集视频数据进行旁路，根据接入的视频需求设备的类型，将所述实时采集视频数据输出，从而在满足对域控制器的验证的同时，能将采集的实时采集视频数据进行储存或进一步分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明视频注入采集装置一实施例的结构示意图；
图2为本发明视频注入采集装置另一实施例的结构示意图；
图3为本发明视频注入采集装置又一实施例的结构示意图；
图4为本发明视频注入采集装置中视频信号复用电路一实施例的结构示意图；
图5为本发明视频注入采集装置第一采集状态一实施例的结构示意图；
图6为本发明视频注入采集装置第二采集状态一实施例的结构示意图；
图7为本发明视频注入采集装置第一回注状态一实施例的结构示意图；
图8为本发明视频注入采集装置第二回注状态一实施例的结构示意图；
图9为本发明视频注入采集装置中视频信号复用电路另一实施例的结构示意图；
图10为本发明视频注入采集装置第一回注状态另一实施例的结构示意图；
图11为本发明中配置单元一实施例的结构示意图；
图12为本发明中配置单元另一实施例的结构示意图；
图13为本发明中配置单元又一实施例的结构示意图。
附图标号说明：
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种视频注入采集装置。
参照图1，在一实施例中，视频注入采集装置包括：
视频信号复用电路110，具有采集状态与回注状态；
视频信号复用电路110被配置为处于采集状态时，逐帧获取源自视频采集设备200的实时采集视频数据，并将实时采集视频数据反馈至非域控制器的视频需求设备400；
视频信号复用电路110被配置为处于回注状态时，获取源自信源设备300的非实时采集视频数据，并将非实时采集视频数据的图像逐帧回注至第一域控制器500。
在本发明一实施例中，所述第一域控制器500为训练阶段或验证阶段的域控制器，需要接入非实时采集视频数据实现对算法的训练或验证；所述视频需求设备400可以包括PC等处理设备420，也可以为视频分析仪等分析设备；所述视频采集设备200可以包括摄像头、相机等；所述信源设备300可以包括工控机320、板卡等。
本发明通过采用视频信号复用电路110，将视频注入采集装置进行复用，使原来只能进行非实时采集视频数据回注的视频注入采集装置，能够同时兼容回注与采集两种功能，使视频信号复用电路110在接入信源设备300时，能够将信源设备300输出的非实时采集视频数据回注进第一域控制器500，实现对第一域控制器500的训练或验证，而在接入视频采集设备200时，例如，能够对接入的实时采集视频数据进行旁路，根据接入的视频需求设备400的类型，将所述实时采集视频数据输出，从而能将采集的实时采集视频数据进行储存或进一步分析。
具体的，工作人员在使用视频注入采集装置对自动驾驶汽车进行检测时，若需要对第一域控制器500进行训练或验证，则将工控机320、板卡等信源设备300接入视频信号复用电路110的输入端，并将视频信号复用电路110为回注状态，此时视频信号复用电路110会对接入的非实时采集视频数据进行回注，具体回注方式根据用户需求配置，以实现对第一域控制器500的训练或验证；若需要对数据进行进一步处理，如分析或存储时，则将摄像头、相机、红外传感器、雷达等视频采集设备200接入视频信号复用电路110的输入端，将PC、视频分析仪等处理设备420接入视频信号复用电路110的输出端，并将视频信号复用电路110配置为采集状态，此时视频信号复用电路110会对接入的实时采集视频数据进行输出，具体输出方式根据用户需求配置。
本发明通过采用视频信号复用电路110，将视频注入采集装置进行复用，使视频注入采集装置能够同时兼容回注与采集两种功能。视频信号复用电路110在接入信源设备300时，能够将信源设备300输出的非实时采集视频数据回注，实现对第一域控制器的训练或验证，而在接入视频采集设备200时，能够根据接入的视频需求设备400的类型，将所述实时采集视频数据输出，从而能将采集的实时采集视频数据进行储存或进一步分析。
参照图2，在一实施例中，采集状态包括第一采集状态和/或第二采集状态；回注状态包括第一回注状态和/或第二回注状态；
视频信号复用电路110被配置为处于第一采集状态时，通过计算机总线接口120将实时采集视频数据反馈至作为视频需求设备400的第一计算机410；
视频信号复用电路110被配置为处于第二采集状态时，通过视频流输出接口130将实时采集视频数据反馈至作为视频需求设备400的处理设备420；
回注状态包括第一回注状态和/或第二回注状态；
视频信号复用电路110被配置为处于第一回注状态时，通过计算机总线接口120自作为信源设备300的第二计算机310获取非实时采集视频数据的图像；
视频信号复用电路110被配置为处于第二回注状态时，通过视频流接收接口140自作为信源设备300的工控机320获取非实时采集视频数据的图像。
在本发明实施例中，计算机总线接口120可以包括卡槽、PCIe接口等；视频流接收接口140可以包括HDMI接口、MIPI接口、VAG接口等，选择投入使用的视频流接收接口140的数量可以根据需求而配置，例如，如果要接入一路视频数据，所述视频流接收接口140的数量为一个，如果要多路，所述视频流接收接口140的数量为个。
工作人员在使用视频注入采集装置对自动驾驶汽车进行处理时，将视频采集设备200接入视频信号复用电路110的输入端，以所述视频采集设备200包括相机为例，在一实施例中，若需要将相机采集到的视频数据进行落盘储存，则可以通过PCIe接口将第一计算机410接入视频信号复用电路110的输出端，并将所述视频信号复用电路110配置为第一采集状态，此时若有实时采集视频数据输入视频信号复用电路110，会被视频信号复用电路110输出至第一计算机410，将采集到的实时采集视频数据储存进第一计算机410。
在另一实施例中，若需要将相机采集到的视频数据进行进一步分析，则可以通过MIPI接口将视频分析仪、显示装置等处理设备420接入视频信号复用电路110的输出端，并将所述视频信号复用电路110配置为第二采集状态，此时若有实时采集视频数据输入视频信号复用电路110，会被视频信号复用电路110输出至处理设备420，将采集到的实时采集视频数据进行进一步分析。
工作人员使用视频注入采集装置在自动驾驶汽车领域进行训练或验证时，将信源设备300接入视频信号复用电路110的输入端，将第一域控制器500接入视频信号复用电路110的输出端，在一实施例中，在所述信源设备300为第二计算机310时，则可以通过PCIe接口将第二计算机310接入视频信号复用电路110的输入端，并将所述视频信号复用电路110配置为第一回注状态，此时第二计算机310输出的视频数据会被逐帧回注至第一域控制器500中。
在另一实施例中，在所述信源设备300为工控机320时，则可以通过HDMI接口将工控机320接入视频信号复用电路110的输入端，并将所述视频信号复用电路110配置为第二回注状态，此时工控机320输出的视频数据会被逐帧回注至第一域控制器500中。
可选地，在所述视频流接收接口140包括HDMI接口时，视频注入采集装置还包括HDMI处理电路，用于：将输入的HDMI信号的视频数据处理为MIPI信号。
参照图3，在一实施例中，视频信号复用电路110还被配置为处于第二采集状态时，通过视频流输出接口130将实时采集视频数据反馈至第二域控制器600。
在本发明一实施例中，在工作过程中，相机本身就需要向第二域控制器600发送视频数据，此时视频信号复用电路110的输出端需要接入第二域控制器600，因此输入视频信号复用电路110的实时数据会被输出至第二域控制器600中，而相机发给第二域控制器600的实时采集视频数据会被旁路出来，再给到视频分析设备进行实时或事后的分析。
参照图1至图8，在一实施例中，视频信号复用电路110包括：数据接入单元111、数据选择单元112、数据输出单元114与数据处理单元113；
数据接入单元111，数据接入单元111与视频流接收接口140电连接，用于处于采集状态时，自视频流接收接口140接入实时采集视频数据；处于第二回注状态时，自视频流接收接口140接入非实时采集视频数据；将接入实时采集视频数据或非实时采集视频数据直接或间接输出至数据处理单元113；
数据处理单元113，用于对输入至数据接入单元111的实时采集视频数据或非实时采集视频数据进行预设处理后输出，或者，将输入至数据处理单元113的实时采集视频数据或非实时采集视频数据输出；
数据输出单元114，用于：
在处于第一采集状态时，通过计算机总线接口120将数据处理单元113输出的实时采集视频数据反馈至第一计算机410；
在处于第二采集状态时，通过视频流输出接口130将数据处理单元113输出的实时采集视频数据反馈至处理设备420；
在处于第二回注状态时，通过视频流输出接口130将数据处理单元113输出的非实时采集视频数据的图像逐帧回注至所述第一域控制器500。
在本发明一实施例中，输出处理单元可以设有多个通道，用于实现不同路视频数据的输出。
视频注入采集装置应用于自动驾驶汽车时，所述相机输出的实时采集视频数据，如MIPI格式的实时采集视频数据会被输入数据接入单元111，进行数据处理或者直接透传至数据选择单元112，在数据接入单元111为单通道时，数据选择单元112将接入的MIPI格式的实时采集视频数据直接输出至数据处理单元113，在数据接入单元111内具备多个通道，每个通道接入一路MIPI格式的实时采集视频数据时，所述数据选择单元112对需要进行处理的MIPI格式的实时采集视频数据进行选择，并将选择后的MIPI格式的实时采集视频数据输出至数据处理单元113，以进行格式转换、帧率转换、分辨率转换、非线性转换等预设处理后输出，或者在不需要进行预设处理时直接透传输出。
在一实施例中，在需要对相机采集到的视频数据进行落盘储存时，所述视频信号复用电路110被配置为第一采集状态，由数据输出单元114将处理后的MIPI格式的实时采集视频数据输出至第二计算机310进行落盘储存。
在另一实施例中，在需要对相机采集到的视频数据进一步分析时，所述视频信号复用电路110被配置为第二采集状态，由数据输出单元114将处理后的实时采集视频数据输出至视频分析仪、显示装置等进行进一步分析。
工作人员使用视频注入采集装置在自动驾驶汽车领域进行训练或验证时，由所述信源设备输出非实时采集视频数据，在一实施例中，在视频注入采集装置接入工控机320时，所述视频信号复用电路110被配置为第二回注状态，所述工控机320输出的非实时采集视频数据，如MIPI格式的非实时采集视频数据会被输入数据接入单元111，进行数据处理或者直接透传至数据选择单元112，在数据接入单元111为单通道时，数据选择单元112将接入的MIPI格式的非实时采集视频数据直接输出至数据处理单元113，在数据接入单元111内具备多个通道，每个通道接入一路MIPI格式的非实时采集视频数据时，所述数据选择单元112对需要进行处理的MIPI格式的视频数据进行选择，并将选择后的MIPI格式的非实时采集视频数据输出至数据处理单元113，以进行格式转换、帧率转换、分辨率转换、非线性转换等预设处理后输出，或者在不需要进行预设处理时直接透传输出，由数据输出单元114将处理后的非实时采集视频数据逐帧回注至第一域控制器500。
可选地，在数据接入单元111内具备多个通道，每个通道接入一路MIPI格式的非实时采集视频数据时，所述数据接入单元111对所述非实时视频信号进行对齐处理后输出。
在一实施例中，输出处理单元，还用于：
在处于第一回注状态时，通过计算机总线接口120自第二计算机310获取非实时采集视频数据的图像，并将获取到的非实时采集视频数据的图像逐帧回注至第一域控制器500。
在本实施例中，工作人员使用视频注入采集装置在自动驾驶汽车领域进行训练或验证，且视频注入采集装置接入第二计算机310时，所述视频信号复用电路110被配置为第一回注状态，所述第二计算机310输出的非实时采集视频数据，如PCIe格式的视频数据会被直接输出至数据输出单元114，由数据输出单元114将输入的PCIe格式的非实时采集视频数据逐帧回注至第一域控制器500。
参照图1、图9及图10，在一实施例中，视频信号复用电路110还包括：
缓存模块116，用于将数据处理单元113输出的实时采集视频数据或非实时采集视频数据储存；或者，将第二计算机310输出的非实时采集视频数据储存。
需要说明的是，在对非实时采集视频数据进行回注时，可以不基于时间戳回注，由数据输出单元114将接收到的非实时采集视频数据直接输出，也可以基于时间戳回注，由数据输出单元114将非实时采集视频数据输出至缓存模块116进行缓存，再根据时间戳对非实时采集视频数据进行读取，逐帧回注至第一域控制器500中。同样的，对实时数据进行输出时同理。
在本发明实施例中，输出处理单元的不同通道可连接于不同的缓存模块116，或同一缓存模块116的不同地址区间。
工作人员使用视频注入采集装置在自动驾驶汽车领域进行验证时，所述相机输出的非实时采集视频数据可以利用缓存设备进行基于时间戳的输出。
在一实施例中，在需要对相机采集到的视频数据进行落盘储存时，所述视频信号复用电路110被配置为第一采集状态，由数据输出单元114将处理后的实时采集视频数据中的一帧帧图像缓存至缓存模块116，然后基于时间戳自缓存模块116读取出图像，输出至第一计算机410进行落盘储存。
在另一实施例中，在需要对相机采集到的视频数据进一步分析时，所述视频信号复用电路110被配置为第二采集状态，由数据输出单元114将处理后的实时采集视频数据中的一帧帧图像缓存至缓存模块116，然后基于时间戳自缓存模块116读取出图像，输出至视频分析仪、显示装置等进行进一步分析。
工作人员使用视频注入采集装置在自动驾驶汽车领域进行训练或验证时，由所述信源设备输出非实时采集视频数据，且在视频注入采集装置接入第二计算机310时，所述视频信号复用电路110被配置为第一回注状态，缓存模块116通过计算机总线接口120获取第二计算机310输出的非实时采集视频数据，在一实施例中，数据输出模块可以直接读取缓存模块116暂存的非实时采集视频数据，并基于时间戳逐帧回注至第一域控制器500中。在另一实施例中，缓存模块116暂存的非实时采集视频数据由数据转换模块读取，进行格式转换、帧率转换、分辨率转换、非线性转换等预设处理后输出至数据输出模块，由数据输出模块基于时间戳逐帧回注至第一域控制器500中。
在视频注入采集装置接入工控机320时，所述视频信号复用电路110被配置为第二回注状态，由数据输出单元114将处理后的实时采集视频数据中的一帧帧图像缓存至缓存模块116，然后基于时间戳自缓存模块116读取出图像，回注至第一域控制器500。
参照图图1、图9至图13，在一实施例中，视频信号复用电路110还包括：
配置单元115，配置单元115响应于第一计算机410、控制模块117、存储器的配置，确定视频信号复用电路110的状态。
在本发明一实施例中，所述配置单元115包括I2C处理单元及至少一个寄存器；I2C处理单元，可用于与相机、第二域控制器600进行I2C通信，实现对相机、第二域控制器600等的配置与配置响应，和/或：用于与PC通过PCIe通信，实现I2C格式的通信信号与PCIe格式的通信信号的转换，例如，I2C处理模块可包含I2C处理模块和/或I2C-PCIe转换模块；存储器可存配置信息，寄存器从中读取出来。
数据接入单元111中的各模块可以通过一个或多个寄存器来配置是否工作；
数据选择单元112可以通过一个或多个寄存器来配置是否工作，以及配置需要选择的通道。
数据处理单元113中的各模块可以通过一个或多个寄存器来配置各模块对输入的数据进行转换或透传输出，并且在数据处理单元113被配置为对输入数据进行转换时，还需要通过寄存器配置进行何种转换与处理。
数据输出单元114中的各模块可以通过一个或多个寄存器来配置，如对视频数据的注入或输出，是否需要旁路输出至处理设备420或第一计算机410等。
而各寄存器在对数据接入单元111、数据选择单元112、数据处理单元113中等模块进行配置时，其配置数据可以由第一计算机410和/或控制模块117输出，例如，在装置需连接第一计算机410时，且装置内未置有控制模块117时，第一计算机410可通过计算机总线接口120（如PCIe接口）对寄存器进行配置；在装置不需连接第一计算机410，且装置内设置有控制模块117时，可由控制模块117对各寄存器进行配置；在装置需连接第一计算机410时，且装置内设置有控制模块117时，部分寄存器由第一计算机410配置，部分寄存器由控制模块117配置，或者，部分用途下，部分寄存器由控制模块117配置，部分用途下，部分寄存器由第一计算机410配置。
其中，控制模块117可以是FPGA（现场可编程逻辑门阵列 Field ProgrammableGate Array）电路中实现的IP（网际互连协议Internet Protocol）核，也可以是ARM处理器；对寄存器的配置逻辑，可由第一计算机410和/或控制模块117自动实现，也可由人工定义后给到第一计算机410和/或控制模块117。
在第一计算机410和/或控制模块117自动对寄存器配置时，可基于视频流接收接口140、视频流输出接口130及计算机总线接口120的连接情况，以及预先定义好的信息进行自动配置，其中，预先定义好的信息包括输出处理单元如何回注的信息、数据处理单元113如何转换的信息等。
这些连接情况均可检测得到，在一实施例中，视频流接收接口140、视频流输出接口130可连接检测电路，检测电路可检测到是否连接到对应的信源设备300、视频采集设备200和/或处理设备420。在另一实施例中，I2C处理单元可检测出是否连接到视频采集设备200和/或处理设备420；可通过PCIe连接件是否接到PCIe卡槽从而交互相应信号判断是否接入第一计算机410或第二计算机310。
具体的，在检测到视频流接入接口连接了视频采集设备200，视频流输出接口130未连接处理设备420，计算机总线接口120连接了第一计算机410时，表示当下是需要将采集的实时采集视频数据输出落盘储存至第一计算机410，第一计算机410和/或控制模块117可据此将各单元、模块配置为第一采集状态。且各单元工作的通道数量，以及数据选择单元112对多路数据的选择，可根据视频流输出接口130具体连接情况而确定。
在检测到视频流接收接口140连接了视频采集设备200，视频流输出接口130连接了处理设备420，但计算机总线接口120未连接第一计算机410时，表示当下是需要将采集的实时采集视频数据输出至处理设备420进行进一步分析，控制模块117可据此将各单元、模块配置为第二采集状态。且各单元工作的通道数量，以及数据选择单元112对多路数据的选择，可根据视频流输出接口130具体连接情况而确定。
在检测到视频流接收接口140连接了信源设备300，视频流输出接口130连接了第一域控制器500，计算机总线接口120连接了第二计算机310时，表示当下是需要将第二计算机310储存的非实时采集视频数据回注至第一域控制器500中，第一计算机410和/或控制模块117可据此将各单元、模块配置为第一回注状态。且各单元工作的通道数量，以及数据选择单元112对多路数据的选择，可根据视频流输出接口130具体连接情况而确定。
在检测到视频流接收接口140连接了信源设备300，视频流输出接口130连接了第一域控制器500时，且计算机总线接口120未连接第二计算机310时，表示当下是需要将信源设备300输出的非实时采集视频数据回注至第一域控制器500中，控制模块117可据此将各单元、模块配置为第二回注状态。且各单元工作的通道数量，以及数据选择单元112对多路数据的选择，可根据视频流输出接口130具体连接情况而确定。
可选地，视频流接收接口140、视频流输出接口130及计算机总线接口120的连接情况，也可替换为装置的对外连接情况。
可选地，第一计算机410和/或控制模块117也可不通过寄存器而通过其他方式对各单元、模块进行配置。例如，直接下发配置的相关信息。
进一步地，在对视频采集设备200进行配置时，可通过第二域控制器600或第一计算机410进行配置。
在一实施例中，视频采集设备200可与第二域控制器600可通过I2C处理单元通信，完成对视频采集设备200的一些配置。
视频采集设备200发出的实时采集视频数据经视频流接收接口140接入，进入数据接入单元111的相应通道，并由数据选择单元112分成2路、3路、4路或更多路，同样的信号进入到数据处理单元113的各通道，数据处理单元113可以直接将视频数据透传过去，也可以对其做一些简单的处理，比如非线性变换，以对图像进行矫正，一般不做格式、帧率、分辨率等的转换，然后给到输出处理单元输出到对应的第二域控制器600和/或处理设备420。
在另一实施例中，视频采集设备200可与第一计算机410通过I2C处理单元中的PCIE-I2C转换模块实现通信，完成视频采集设备200的一些配置。
视频采集设备200发出的实时采集视频数据经视频流接收接口140接入，进入数据接入单元111的相应通道，并由数据选择单元112分成2路、3路、4路或更多路，同样的信号进入到数据处理单元113的各通道，数据处理单元113可以直接将视频数据透传过去，也可以对其做一些简单的处理，比如非线性变换，以对图像进行矫正，一般不做格式、帧率、分辨率等的转换，然后给到输出处理单元输出到对应的第二域控制器600和/或第一计算机410。
在一实施例中，视频注入采集装置还包括：
解串器，用于接入视频采集设备200，并与视频信号复用电路110电连接，解串器还用于将视频采集设备200输出的实时采集视频数据解串后输出至视频信号复用电路110；
加串器，用于接入第一域控制器500，并与视频信号复用电路110电连接，用于将视频信号复用电路110输出的视频数据进行加串后输出至第一域控制器500中。
本发明还提出一种视频注入采集系统，该视频注入采集系统包括信源设备300、处理设备420、第一域控制器500、视频采集设备200及上述的视频注入采集装置，该视频注入采集装置的具体结构参照上述实施例，由于本视频注入采集系统采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
本发明还提出一种汽车，包括上述的视频注入采集装置，且所述视频注入采集装置处于所述采集状态；所述汽车还包括所述视频采集设备。
本发明还提供了一种回注设备，包括上述的视频注入采集装置，且所述视频注入采集装置处于所述回注状态，所述回注设备还包括所述信源设备；该视频注入采集装置的具体结构参照上述实施例，由于本自动驾驶汽车采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
需要说明的是，由于数据采集通常发生于实车中，回注发生在实验室中，完全属于不同场景，本发明实施例将不同场景下的不同用途整合在一起而构建了全新的注入采集装置。
以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (9)
1.一种视频注入采集装置，其特征在于，所述视频注入采集装置包括：
视频信号复用电路，具有采集状态与回注状态；
所述视频信号复用电路被配置为处于采集状态时，逐帧获取源自视频采集设备的实时采集视频数据，并将所述实时采集视频数据反馈至非域控制器的视频需求设备；
所述视频信号复用电路被配置为处于回注状态时，获取源自信源设备的非实时采集视频数据，并将所述非实时采集视频数据的图像逐帧回注至第一域控制器；
所述采集状态包括第一采集状态和/或第二采集状态；所述回注状态包括第一回注状态和/或第二回注状态；
所述视频信号复用电路被配置为处于所述第一采集状态时，通过计算机总线接口将所述实时采集视频数据反馈至作为所述视频需求设备的第一计算机；
所述视频信号复用电路被配置为处于所述第二采集状态时，通过视频流输出接口将所述实时采集视频数据反馈至作为所述视频需求设备的处理设备；
所述回注状态包括第一回注状态和/或第二回注状态；
所述视频信号复用电路被配置为处于所述第一回注状态时，通过所述计算机总线接口自作为所述信源设备的第二计算机获取所述非实时采集视频数据的图像；
所述视频信号复用电路被配置为处于所述第二回注状态时，通过视频流接收接口自作为所述信源设备的工控机获取所述非实时采集视频数据的图像。
2.如权利要求1所述的视频注入采集装置，其特征在于，
所述视频信号复用电路还被配置为处于所述第二采集状态时，通过视频流输出接口将所述实时采集视频数据反馈至第二域控制器。
3.如权利要求1所述的视频注入采集装置，其特征在于，所述视频信号复用电路包括：数据接入单元、数据输出单元与数据处理单元；
数据接入单元，所述数据接入单元与所述视频流接收接口电连接，用于处于所述采集状态时，自所述视频流接收接口接入所述实时采集视频数据；处于所述第二回注状态时，自所述视频流接收接口接入所述非实时采集视频数据；将接入实时采集视频数据或非实时采集视频数据直接或间接输出至数据处理单元；
数据处理单元，用于对输入至所述数据接入单元的实时采集视频数据或非实时采集视频数据进行预设处理后输出，或者，将输入至所述数据处理单元的实时采集视频数据或非实时采集视频数据输出；
数据输出单元，用于：
在处于所述第一采集状态时，通过所述计算机总线接口将所述数据处理单元输出的所述实时采集视频数据反馈至所述第一计算机；
在处于所述第二采集状态时，通过所述视频流输出接口将所述数据处理单元输出的所述实时采集视频数据反馈至所述处理设备；
在处于所述第二回注状态时，通过所述视频流输出接口将所述数据处理单元输出的所述非实时采集视频数据的图像逐帧回注至所述第一域控制器。
4.如权利要求3所述的视频注入采集装置，其特征在于，
输出处理单元，还用于：
在处于所述第一回注状态时，通过所述计算机总线接口自所述第二计算机获取所述非实时采集视频数据的图像，并将获取到的所述非实时采集视频数据的图像逐帧回注至所述第一域控制器。
5.如权利要求3所述的视频注入采集装置，其特征在于，所述视频信号复用电路还包括：
缓存模块，用于将所述数据处理单元输出的实时采集视频数据或非实时采集视频数据储存；或者，将所述第二计算机输出的所述非实时采集视频数据储存。
6.如权利要求3所述的视频注入采集装置，其特征在于，所述视频信号复用电路还包括：
配置单元，所述配置单元响应于所述第一计算机、控制模块、存储器的配置，确定所述视频信号复用电路的状态。
7.一种视频注入采集系统，其特征在于，包括信源设备、处理设备、第一域控制器、视频采集设备及如权利要求1-6任意一项所述的视频注入采集装置，所述视频注入采集装置分别与所述信源设备、所述处理设备、所述第一域控制器及所述视频采集设备电连接。
8.一种汽车，其特征在于，包括如权利要求1-6任意一项所述的视频注入采集装置，且所述视频注入采集装置处于所述采集状态；所述汽车还包括所述视频采集设备。
9.一种回注设备，其特征在于，包括如权利要求1-6任意一项所述的视频注入采集装置，且所述视频注入采集装置处于所述回注状态，所述回注设备还包括所述信源设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310999012.9A CN117156075B (zh) | 2023-08-08 | 2023-08-08 | 视频采集注入装置、系统、汽车及回注设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310999012.9A CN117156075B (zh) | 2023-08-08 | 2023-08-08 | 视频采集注入装置、系统、汽车及回注设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117156075A CN117156075A (zh) | 2023-12-01 |
| CN117156075B true CN117156075B (zh) | 2024-04-12 |
Family
ID=88883350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310999012.9A Active CN117156075B (zh) | 2023-08-08 | 2023-08-08 | 视频采集注入装置、系统、汽车及回注设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117156075B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USH2099H1 (en) * | 1999-07-06 | 2004-04-06 | The United States Of America As Represented By The Secretary Of The Navy | Digital video injection system (DVIS) |
| CN111025248A (zh) * | 2019-12-30 | 2020-04-17 | 上海蛮酷科技有限公司 | 一种数据采集回放装置和数据采集回放系统 |
| CN211016025U (zh) * | 2019-10-24 | 2020-07-14 | 苏州智行众维智能科技有限公司 | 一种用于智能驾驶车辆摄像头传感器测试的仿真模拟系统 |
| CN112380079A (zh) * | 2020-11-27 | 2021-02-19 | 武汉高德红外股份有限公司 | 一种基于sdi的注入式图像算法测试系统及方法 |
| CN112702581A (zh) * | 2020-12-28 | 2021-04-23 | 深兰科技（上海）有限公司 | 视频采集电路 |
| CN113341935A (zh) * | 2021-06-24 | 2021-09-03 | 中国第一汽车股份有限公司 | 一种车辆测试方法、装置、测试设备、系统及存储介质 |
| CN114332782A (zh) * | 2021-12-29 | 2022-04-12 | 南京慧尔视智能科技有限公司 | 一种交通数据回注系统、方法、装置和存储介质 |
| CN115687106A (zh) * | 2022-10-25 | 2023-02-03 | 安徽江淮汽车集团股份有限公司 | 一种基于回注硬件的在环自动化测试方法及装置 |
| CN115729743A (zh) * | 2022-12-09 | 2023-03-03 | 黑芝麻智能科技(重庆)有限公司 | 感知系统测试数据回灌装置、方法、可读存储介质 |
| CN116016823A (zh) * | 2022-12-12 | 2023-04-25 | 昆易电子科技(上海)有限公司 | 一种视频注入装置及系统 |
| CN116205069A (zh) * | 2023-03-06 | 2023-06-02 | 智己汽车科技有限公司 | 基于智能驾驶域控制器的场景注入方法、系统及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7606425B2 (en) * | 2004-09-09 | 2009-10-20 | Honeywell International Inc. | Unsupervised learning of events in a video sequence |
| JP5575534B2 (ja) * | 2010-04-30 | 2014-08-20 | 株式会社東芝 | 超音波診断装置 |
| US9002060B2 (en) * | 2012-06-28 | 2015-04-07 | International Business Machines Corporation | Object retrieval in video data using complementary detectors |
| US9940223B2 (en) * | 2013-04-05 | 2018-04-10 | FEV North America Inc. | Human-machine interface test system |
| US10762399B2 (en) * | 2017-12-18 | 2020-09-01 | Ford Global Technologies, Llc | Using deep video frame prediction for training a controller of an autonomous vehicle |
| US10805613B2 (en) * | 2018-02-20 | 2020-10-13 | Netgear, Inc. | Systems and methods for optimization and testing of wireless devices |
-
2023
- 2023-08-08 CN CN202310999012.9A patent/CN117156075B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USH2099H1 (en) * | 1999-07-06 | 2004-04-06 | The United States Of America As Represented By The Secretary Of The Navy | Digital video injection system (DVIS) |
| CN211016025U (zh) * | 2019-10-24 | 2020-07-14 | 苏州智行众维智能科技有限公司 | 一种用于智能驾驶车辆摄像头传感器测试的仿真模拟系统 |
| CN111025248A (zh) * | 2019-12-30 | 2020-04-17 | 上海蛮酷科技有限公司 | 一种数据采集回放装置和数据采集回放系统 |
| CN112380079A (zh) * | 2020-11-27 | 2021-02-19 | 武汉高德红外股份有限公司 | 一种基于sdi的注入式图像算法测试系统及方法 |
| CN112702581A (zh) * | 2020-12-28 | 2021-04-23 | 深兰科技（上海）有限公司 | 视频采集电路 |
| CN113341935A (zh) * | 2021-06-24 | 2021-09-03 | 中国第一汽车股份有限公司 | 一种车辆测试方法、装置、测试设备、系统及存储介质 |
| CN114332782A (zh) * | 2021-12-29 | 2022-04-12 | 南京慧尔视智能科技有限公司 | 一种交通数据回注系统、方法、装置和存储介质 |
| CN115687106A (zh) * | 2022-10-25 | 2023-02-03 | 安徽江淮汽车集团股份有限公司 | 一种基于回注硬件的在环自动化测试方法及装置 |
| CN115729743A (zh) * | 2022-12-09 | 2023-03-03 | 黑芝麻智能科技(重庆)有限公司 | 感知系统测试数据回灌装置、方法、可读存储介质 |
| CN116016823A (zh) * | 2022-12-12 | 2023-04-25 | 昆易电子科技(上海)有限公司 | 一种视频注入装置及系统 |
| CN116205069A (zh) * | 2023-03-06 | 2023-06-02 | 智己汽车科技有限公司 | 基于智能驾驶域控制器的场景注入方法、系统及装置 |
Non-Patent Citations (1)
| Title |
|---|
| "车载毫米波雷达的虚拟测试仿真";秦风等;《 电子设计工程 》;20200925(第18期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117156075A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107817216B (zh) | 一种基于cpu+gpu+fpga架构的自动光学检测系统 | |
| CN102202171B (zh) | 一种嵌入式高速多通道图像采集与存储系统 | |
| CN103986869A (zh) | 一种高速tdiccd遥感相机图像采集与显示装置 | |
| CN211184115U (zh) | 一种具有多路视频显示功能的车载显控终端 | |
| US20200388089A1 (en) | Title method, apparatus and system for processing vehicle diagnosis case and diagnosis device | |
| CN114598843A (zh) | 一种应用于大型汽车多路摄像头的图像处理系统及方法 | |
| JP2023179491A (ja) | システムおよびプログラム等 | |
| CN206894813U (zh) | 一种摄像头测试系统 | |
| CN117156075B (zh) | 视频采集注入装置、系统、汽车及回注设备 | |
| CN101325712A (zh) | 一种基于arm的便携式图像实时采集和显示终端 | |
| CN113923381B (zh) | 一种可实现多种视频接口切换器及其测量方法 | |
| CN116567204A (zh) | 一种卫星相机批产辐射定标响应度数据获取系统及方法 | |
| CN111866500A (zh) | 一种基于FPGA和Intel CPU、WIFI 6的影像测试装置 | |
| CN101998135A (zh) | 移动电视信号采集及播放系统、控制方法 | |
| CN114363485B (zh) | 一种基于fpga的双目摄像头图像拼接处理装置及方法 | |
| KR101849853B1 (ko) | 대용량 영상신호 고속 전송장치 | |
| CN114422773A (zh) | 一种定制化影像调试系统及方法 | |
| CN114371392A (zh) | 触控数据检测装置、触控芯片及电子设备 | |
| CN210667747U (zh) | 一种车载多功能显示屏控制电路 | |
| CN110390627B (zh) | 一种高帧频图像采集与发送系统及方法 | |
| CN211656247U (zh) | 多传感器数据同步系统 | |
| KR101122524B1 (ko) | 동기화된 데이타를 사용하여 운전자 특성 정보를 수집하는 방법 및 시스템 | |
| CN117156073B (zh) | 视频数据传输装置及系统 | |
| KR101701669B1 (ko) | Fpga의 적응형 소프트 비디오 스위치 | |
| CN211557369U (zh) | 一种视频处理装置和车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |