CN115442646A - 视频处理方法、存储介质及用于处理视频的车载终端 - Google Patents

视频处理方法、存储介质及用于处理视频的车载终端 Download PDF

Info

Publication number
CN115442646A
CN115442646A CN202110624035.2A CN202110624035A CN115442646A CN 115442646 A CN115442646 A CN 115442646A CN 202110624035 A CN202110624035 A CN 202110624035A CN 115442646 A CN115442646 A CN 115442646A
Authority
CN
China
Prior art keywords
video
video image
vehicle
image
audio information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110624035.2A
Other languages
English (en)
Other versions
CN115442646B (zh
Inventor
时红仁
应臻恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qwik Smart Technology Co Ltd
Original Assignee
Shanghai Qwik Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qwik Smart Technology Co Ltd filed Critical Shanghai Qwik Smart Technology Co Ltd
Priority to CN202110624035.2A priority Critical patent/CN115442646B/zh
Publication of CN115442646A publication Critical patent/CN115442646A/zh
Application granted granted Critical
Publication of CN115442646B publication Critical patent/CN115442646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明提供一种视频处理方法、存储介质及用于处理视频的车载终端，所述方法包括以下步骤：响应于接收到采集指令，从车载终端、移动终端、车内摄像头、车外摄像头中的至少两个视频源采集第一视频图像；以及将采集的各所述第一视频图像显示于同一视频展示界面，以便形成第二视频图像。本发明可以将在车辆中获取的多个视频整合至车载终端的一个界面中形成视频并呈现，使得车载显示更加多方位多角度，提高车载显示的人机交互性。

Description

视频处理方法、存储介质及用于处理视频的车载终端
技术领域
本发明涉及汽车技术领域，特别是涉及智能汽车技术领域，具体为一种视频处理方法、存储介质及用于处理视频的车载终端。
背景技术
早在上个世纪，车载显示便已经出现在仪表盘上，车载显示的最原始的作用是更好地辅助司机驾驶。随着汽车智能化进程加速，智能座舱的概念正在成为各大厂商的研发与创新热点，信息时代，汽车与车内人员之间呈现更多的交流，显示屏作为人车之间信息交流最直观的交互方式，在智能座舱中有着多种应用场景，整体呈现多屏联动的发展趋势。
为了更好地针对车内功能的分享、教学、互动等交互体验，如何对车载显示的人车交互进行优化升级，以提高针对车内功能的分享、教学、互动等人机交互效果成为本领域技术人员研究的热点。
发明内容
本发明的一个目的在于提供一种视频处理方法、存储介质及用于处理视频的车载终端，其中可以将在车辆中获取的多个视频整合至车载终端的一个界面中形成视频并呈现，使得车载显示更加多方位多角度，提高车载显示的人机交互性。
本发明的另一个目的在于提供一种视频处理方法、存储介质及用于处理视频的车载终端，其中，可以基于图像的时间戳或音频信息使得显示于车载终端的同一个界面中的各视频同步。
本发明的另一个目的在于提供一种视频处理方法、存储介质及用于处理视频的车载终端，其中可以根据触控操作/语音等用户操作识别出对界面显示视频的操作对象，并在视频中标识出操作对象，使得其他观看用户能够直观地了解操作的区域、按键等，更易于理解，提高分享和教学的效果。
本发明的另一个目的在于提供一种视频处理方法、存储介质及用于处理视频的车载终端，其中可以自动识别显示的视频中的音频信息，并将识别的音频信息自动转换为字幕信息，显示于视频界面，有效提高用户体验性以及视频制作的便捷性。
本发明的另一个目的在于提供一种视频处理方法、存储介质及用于处理视频的车载终端，其中可以自动为显示的视频生成对应的标签，以便于对视频进行分类存储，进而便于其他用户查找观看所述视频。
本发明的另一个目的在于提供一种视频处理方法、存储介质及用于处理视频的车载终端，其中可以基于用户的分享指令，将车载终端同一界面的视频分享至手机、电脑、电视等远端设备，实现远程观看车辆周围多角度视频的目的。
为实现上述目的，第一方面，本发明提供了一种视频处理方法，包括以下步骤：响应于接收到采集指令，从车载终端、移动终端、车内摄像头、车外摄像头中的至少两个视频源采集第一视频图像；以及将采集的各所述第一视频图像同步显示于同一视频展示界面，以便形成第二视频图像，达到将在车辆中获取的多个视频整合至车载终端的一个界面中形成视频并呈现，使得车载显示更加多方位多角度，提高车载显示的人机交互性的目的。
其中，所述将采集的各所述第一视频图像显示于同一视频展示界面，以便形成第二视频图像包括以下步骤：获取各所述第一视频图像的采集时间戳；以及基于各所述第一视频图像的采集时间戳，使各所述第一视频图像同步显示于所述视频展示界面，以便形成所述第二视频图像，实现基于图像的时间戳使得显示于车载终端的同一个界面中的各视频同步的目的。
其中，所述将采集的各视频图像显示于同一视频展示界面包括以下步骤：获取各所述第一视频图像的音频信息以用于匹配；以及基于各所述第一视频图像的音频信息的匹配结果，使各所述第一视频图像同步显示于所述视频展示界面，以便形成所述第二视频图像，实现基于图像的音频信息使得显示于车载终端的同一个界面中的各视频同步的目的。
其中，从所述车载终端采集的第一视频图像基于以下步骤而呈现：响应于接收到视频操作指令，识别所述视频操作指令在所述第一视频图像中所指示的操作对象；以及在所述第一视频图像中以预设标识方式标识所述操作对象，使得其他观看用户能够直观地了解操作的区域、按键等，更易于理解，提高分享和教学的效果。
其中，所述将采集的各所述第一视频图像显示于同一视频展示界面，以便形成第二视频图像之后，还包括以下步骤：分别识别所述各视频图像中的音频信息，以便于转换为字幕信息；以及在所述第二视频图像中显示所述字幕信息，有效提高用户体验性以及视频制作的便捷性。
其中，所述形成所述第二视频图像之后，还包括以下步骤：基于所述操作对象、所述音频信息和所述字幕信息中的至少一项，生成所述第二视频图像的标签，以便于对视频进行分类存储，进而便于其他用户查找观看所述视频。
其中，所述生成所述第二视频图像的标签之后，还包括以下步骤：响应于接收到分享指令，将所述第二视频图像发送至预先关联的远端设备，实现远程观看车辆周围多角度视频的目的。
第二方面，本发明提供一种用于视频处理的车载终端，所述车载终端与车载摄像头通信连接，所述车载终端包括至少一处理器，麦克风以及显示屏，其中，所述至少一处理器，其被配置为：接收采集指令；基于所述采集指令从移动终端或至少一个所述车载摄像头采集第一视频图像；以及将采集的各所述第一视频图像处理为同步显示于所述显示屏的同一视频展示界面，以便形成第二视频图像；所述麦克风，其被配置为采集所述第二视频图像的音频信息，达到将在车辆中获取的多个视频整合至车载终端的一个界面中形成视频并呈现，使得车载显示更加多方位多角度，提高车载显示的人机交互性的目的。
第三方面，本发明提供了一种存储介质，存储有程序指令，所述程序指令被执行时实现如上所述的方法。
第四方面，本发明提供了一种电子设备，包括存储器，用于存储计算机程序；处理器，与所述存储器相连，用于运行所述计算机程序以实现如上所述的方法。
本公开的这些和其它实施例、特征和优势将由于以下将结合附图进行阅读的对示例性实施例的详细描述而被描述或变得显而易见。
附图说明
本发明被认为新颖的特征在所附权利要求中特别给出。本公开通过参考以下结合附图所进行的描述而获得最佳理解。提供这些附图和相关联的描述以说明本公开的一些实施例，而并非对本发明的范围进行限制。
图1显示为本发明的视频处理方法于一实施例中的应用示意图；
图2显示为本发明的视频处理方法于一实施例中的原理流程图；
图3显示为本发明的视频处理方法于一实施例中形成第二视频图像的一种原理流程图；
图4显示为本发明的视频处理方法于一实施例中形成第二视频图像的另一种原理流程图；
图5显示为本发明的视频处理方法于一实施例中标识第一图像中的操作对象的原理流程图；
图6显示为本发明的视频处理方法于一实施例中于第二视频图像显示字幕的原理流程图；
图7显示为本发明的视频处理方法于一实施例中用于视频处理的车载终端的原理结构示意图。
元件标号说明
100 移动终端
200 车辆
210 车载终端
211 处理器
212 存储器
213 显示屏
214 麦克风
S100～S200 步骤
S211～S212 步骤
S221～S222 步骤
S310～S320 步骤
S410～S420 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，故图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本实施例提供一种视频处理方法、存储介质及用于处理视频的车载终端，将车内摄像头采集的画面、车外摄像头采集的画面、车机屏幕录制视频、以及移动终端的摄像头采集的画面集中到一个画面中呈现，形成多方位多角度的体验/帮助视频，提高车载显示的人机交互性。
图1显示为本实施例的视频处理方法的应用示意图。图1中移动终端100包括但不限于手机、PAD、可穿戴设备、智能AI设备等具有摄像头的用户移动电子设备。图1中车载终端210装设于车辆200中，所述车载终端210从至少两个视频源获取图像，具体地，所述车载终端210与车辆200内的多个车载摄像头相连，从多个所述车载摄像头获取图像，其中，多个所述车载摄像头包括多个装设于车辆200内部的车内摄像头(图1中所示的车内摄像头1，……，车内摄像头M)和多个装设于车辆200外部的车外摄像头(图1中所示的车外摄像头1，……，车外摄像头N)。其中，所述车载终端210可以基于需求选取所需位置角度的一个或多个车内摄像头，一个或多个车外摄像头进行图像采集，所述车载终端210优选地从可以看到司机手部动作或者脸部的车载摄像头进行图像采集。同时，本实施例中的车载终端210通过蓝牙、GPRS、车载WIFI等无线网络与移动终端100相连，从所述移动终端100接收由移动终端100采集的图像，其中，所述移动终端100中的视频可以通过所述移动终端100的摄像头实时采集，也可以通过屏幕录制方式实时生成。此外，所述车载终端210本身也可以通过屏幕方式录制生成视频，所述车载终端210还可以播放从云端服务器、车联网的其他车载终端210、插入车载终端210的移动存储介质等方式获取的图像。本实施例中，车载终端210对车载终端210中本地的图像、从移动终端100获取的图像，多个车载摄像头中的至少两个图像进行整合，使整合后的至少两个图像同步呈现于同一视频展示界面，形成多方位多角度的体验/帮助视频，提高车载显示的人机交互性。
以下将详细阐述本实施例的视频处理方法、存储介质及用于处理视频的车载终端的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的视频处理方法、存储介质及用于处理视频的车载终端。
本实施例提供一种视频处理方法，图2显示为本实施例的视频处理方法的原理流程图。
如图2所示，所述视频处理方法包括以下步骤：
步骤S100：响应于接收到采集指令，从车载终端、移动终端、车内摄像头、车外摄像头中的至少两个视频源采集第一视频图像；以及
步骤S200：将采集的各所述第一视频图像同步显示于同一视频展示界面，以便形成第二视频图像。
以下对本实施例视频处理方法的步骤S100至步骤S200进行详细说明。
步骤S100：响应于接收到采集指令，从车载终端、移动终端、车内摄像头、车外摄像头中的至少两个视频源采集第一视频图像。
其中，所述采集指令可以为采集单一视频源的单一指令，例如，所述采集指令为采集车载终端中图像的车载终端图像采集指令，或为采集某一个车内摄像头的摄像头采集指令。即所述采集指令为单一指令时，每一个视频源均通过独立的采集指令进行独立采集控制。
此外，所述采集指令也可以为可同时采集预配置的多个视频源的复合采集指令，其中，不同的复合采集指令对应控制采集不同的多个视频源，例如，车内多个摄像头通过一个复合采集指令进行采集控制，车载终端和移动终端通过一个复合采集指令进行采集控制，即所述采集指令为复合采集指令时，多个视频源通过一个复合采集指令进行统一采集控制。
其中，车载终端210分别与一个或多个移动终端100、一个或多个车内摄像头、一个或多个车外摄像头相连。所述移动终端100优选位于车辆200内，例如，所述移动终端100为车内驾驶员或乘客的手机，所述移动终端100通过蓝牙、GPRS、车载WIFI等无线网络与车载终端210相连，车载终端210可以从移动终端100采集第一视频图像，从一个或多个车内摄像头采集第一视频图像，从一个或多个车外摄像头采集第一视频图像，而且所述车载终端210也可以从车载终端210采集第一视频图像，车载终端210内的图像来源于自身屏幕录制、云端服务器、车联网的其他车载终端210、插入车载终端210的移动存储介质等。即本实施例中，车载终端210可以同时获取车内一个或多个移动终端100拍摄的车内或车外图像，一个或多个车内摄像头拍摄的车内对应角度的图像，一个或多个车外摄像头拍摄的对应的角度的图像以及车载终端210本地的图像中的至少两个图像。
此外，本实施例中，所述移动终端100与车载终端210建立远程网络连接，所述移动终端100不限于车载终端210所在车辆200内部，持有所述移动终端100用户可位于车辆200外部且不限定位置。例如，与车载终端210建立网络连接的移动终端100处于用户家中或其他车辆200内，此时，车载终端210可以同时获取一个或多个移动终端100拍摄的远端图像，一个或多个车内摄像头拍摄的车内对应角度的图像，一个或多个车外摄像头拍摄的对应的角度的图像以及车载终端210本地的图像中的至少两个图像。
步骤S200：将采集的各所述第一视频图像同步显示于同一视频展示界面，以便形成第二视频图像。
例如，车载终端210将同时获取车内一个或多个移动终端100拍摄的车内或车外图像，一个或多个车内摄像头拍摄的车内对应角度的图像，一个或多个车外摄像头拍摄的对应的角度的图像以及车载终端210本地的图像中的至少两个第一视频图像，显示于同一视频展示界面，形成第二视频图像。
例如，车载终端210从车外四周多个车外摄像头获取车辆四周的视频图像，从车内后排用户的手机中获取用户手机中拍摄的车辆内部空间视频图像，从车载终端210获取车机功能的录屏视频，将车辆四周的视频图像、车辆内部空间视频图像、以及车机功能的录屏视频显示于同一视频展示界面，形成所述第二视频图像，使得用户通过一个视频展示界面即可以了解车辆外部、内部、车机功能等的车辆体验。
本实施例中，使得第二视频图像中的各个第一视频图像同步形成所述第二视频图像的一种方式请参阅图3。图3显示为本发明的视频处理方法于一实施例中形成第二视频图像的一种原理流程图，如图3所示，所述将采集的各所述第一视频图像显示于同一视频展示界面，以便形成第二视频图像包括以下步骤：
步骤S211，获取各所述第一视频图像的采集时间戳；
步骤S212，基于各所述第一视频图像的采集时间戳，使各所述第一视频图像同步显示于所述视频展示界面，以便形成所述第二视频图像。
其中，由于从各个视频源采集的第一视频图像进入所述车载终端210的时间并不一定相同，例如，车内摄像头和车外摄像头一直在录制图像，移动终端100在某一时刻将采集的视频图像传入车载终端210，使各所述第一视频图像同步显示于所述视频展示界面之前，获取各所述第一视频图像的采集时间戳，将各所述第一视频图像的采集时间戳按照时间轴对准，使得各所述第一视频图像同步显示于所述视频展示界面，这样用户可以从不同视角去查看教学帮助或体验视频。
其中，所述视频展示界面具有多个第一视频图像展示区域，各所述第一视频图像按照预设排布方式于对应的第一视频图像展示区域进行展示。优选地，于本实施例中，基于各视频源的相对车辆200的方位布设各所述第一视频图像于所述视频展示界面的相对显示位置，使得各所述第一视频图像彼此之间更具衔接性，形成的所述第二视频图像更具有方位感和完整性。
此外，本实施例中，也可以预先配置多个不同大小的第一视频图像展示区域，例如将一个或多个相对大的第一视频图像展示区域作为主显示区域，其余第一视频图像展示区域作为次显示区域布设于主显示区域周围，基于各视频源的显示优先级控制各所述第一视频图像所对应显示的第一视频图像展示区域。例如，将显示优先级等级高的视频源(例如车辆200前方的车外摄像头)获取的第一视频图像显示于主显示区域。
本实施例中，使得第二视频图像中的各个第一视频图像同步形成所述第二视频图像的另一种方式请参阅图4。图4显示为本发明的视频处理方法于一实施例中形成第二视频图像的另一种原理流程图，如图4所示，所述将采集的各所述第一视频图像显示于同一视频展示界面，以便形成第二视频图像包括以下步骤：
步骤S221，获取各所述第一视频图像的音频信息以用于匹配；
步骤S222，基于各所述第一视频图像的音频信息的匹配结果，使各所述第一视频图像同步显示于所述视频展示界面，以便形成所述第二视频图像。
其中，于本实施例中，分别采集各所述第一视频图像的音频信息，对各所述第一视频图像的音频信息进行识别，基于识别结果匹配各所述第一视频图像的音频信息是否相同，并基于音频信息相同时所对应的时刻使各所述第一视频图像同步显示于所述视频展示界面，形成所述第二视频图像。
上述已经对所述视频展示界面和所述第二视频图像进行了详细说明，在此不再赘述。
于本实施例中，可以对第一视频图像的操作对象进行识别标记。图5显示为本实施例的视频处理方法于一实施例中标识第一图像中的操作对象的原理流程图。如图5所示，从所述车载终端210采集的第一视频图像基于以下步骤而呈现：
步骤S310，响应于接收到视频操作指令，识别所述视频操作指令在所述第一视频图像中所指示的操作对象；
步骤S320，在所述第一视频图像中以预设标识方式标识所述操作对象，以便于呈现。
于本实施例中，若视频源中的第一视频图像为屏幕录制视频图像，识别屏幕录制过程中用户输入的视频操作指令，其中，所述视频操作指令包括触摸操控指令，语音操控指令等。
本实施例中，对用户输入的视频操作指令进行识别，确定所述视频操作指令对应的操作对象，并以预设标识方式标识所述操作对象。
在所述视频操作指令为触摸操控指令时，对用户输入的视频操作指令进行识别，确定所述视频操作指令对应的操作对象，并以预设标识方式标识所述操作对象的过程如下：
接收触控信号，获取触控的位置，检测该触控的位置是否有控件，具体地，获取当前操作界面对应的控件树，获取所述控件树中用于显示图片和文字的控件以及所述控件在所述操作界面中的显示区域，若该触控的位置有控件，则标识该控件。如果没有控件，则标识该触控位置。
在所述视频操作指令为语音操控指令时，对用户输入的视频操作指令进行识别，确定所述视频操作指令对应的操作对象，并以预设标识方式标识所述操作对象的过程如下：
接收语音指令，识别语音指令，将所述语音指令转换为对应的文本，对当前界面进行截屏，通过光学字符识别技术识别所述操作界面中的文字，并将语音指令所转换的文本与截屏界面中的文本进行匹配，若匹配成功的则标识显示该文字的界面区域。此外，也可以将语音指令所转换的文本与当前界面中控件树中的各控件的名称进行匹配，若匹配成功的则标识该控件。
其中，所述预设标识方式例如为划线、画圈、涂色、放大等明显可以突出所述操作对象的标识方式。
即本实施例中，可以基于用户对所述视频展示界面中显示的第一视频图像的视频操作指令，自动识别用户所要操作的第一视频图像中的操作对象，并对用户所操作的操作对象进行标识，使得其他观看用户能够直观地了解操作的区域、按键等，便于用户理解知悉每一步骤的操作对象，更易于理解，更容易上手，提高分享和教学的效果。
本实施例中，还可以自动显示所述视频展示界面中所述第二视频图像的字幕。图6显示为本实施例的视频处理方法中于第二视频图像显示字幕的原理流程图。如图6所示，所述将采集的各所述第一视频图像显示于同一视频展示界面，以便形成第二视频图像之后，还包括以下步骤：
步骤S410，分别识别所述各视频图像中的音频信息，以便于转换为字幕信息；
步骤S420，在所述第二视频图像中显示所述字幕信息。
本实施例中，分别识别所述第一视频图像中的音频信息，并将所述音频信息转换为字幕信息，然后对比是否存在相同的字幕信息，若相同，则于所述视频展示界面显示该相同的字幕信息，若不相同，则分别于各第一视频图像处显示对应的字幕信息。
于本实施例中，也可以先对比所述第一视频图像中的音频信息是否相同，若相同，输出该相同的音频信息对应的字幕信息，若不相同，则分别于各第一视频图像处显示对应的字幕信息。
可见本实施例中的视频处理方法可以自动识别音频信息，并根据识别结果对应显示第二视频图像的字幕，有效提高用户体验性以及视频制作的便捷性。
于本实施例中，还包括对所述第二视频图像建立标签。所述形成所述第二视频图像之后，还包括以下步骤：基于所述操作对象、所述音频信息和所述字幕信息中的至少一项，生成所述第二视频图像的标签。
即本实施例中，对所述第二视频图像建立标签，其中，可以依据上述识别的操作对象、识别的音频信息或识别的字幕信息确定标签关键字，通过确定的标签关键字直接或经用户确认后为所述第二视频图像建立标签。此外，也可以基于上述识别的操作对象、识别的音频信息或识别的字幕信息查找匹配的预设标签，基于匹配的预设标签为所述第二视频图像建立标签。所以本实施例的视频处理方法通过为所述第二视频图像生成标签，便于对所述第二视频图像进行分类存储。例如用户可以一键将所述第二视频图像上传到教学/体验专区，并根据所述第二视频图像对应的标签自动归类，便于用户分享和查找，更有利于用户建立自助共享社区，进行社交和互动，让车辆的体验和教学资源得到最大化的丰富和利用。
除此之外，本实施例中，所述生成所述第二视频图像的标签之后，还包括以下步骤：响应于接收到分享指令，将所述第二视频图像发送至预先关联的远端设备。
其中，所述远端设备为但不限于手机、PAD、可穿戴设备、智能AI设备、个人电脑、服务器、智能家电设备等电子设备，以供远端的用户可以实时共享所述第二视频图像，达到远程观看车辆200周围多角度视频的目的。
如图7所示，本实施例还提供一种用于视频处理的车载终端210，所述车载终端210与车载摄像头通信连接，所述车载终端210包括至少一处理器211，麦克风214以及显示屏213。所述处理器211与至少一个所述车载摄像头(图7中所示的车载摄像头1，……，车载摄像头P)相连，所述处理器211至少与至少一个移动终端100(图7中所示的移动终端1，……，移动终端K)相连。
其中，所述至少一处理器211，其被配置为：接收采集指令；基于所述采集指令从移动终端100或至少一个所述车载摄像头采集第一视频图像；以及将采集的各所述第一视频图像处理为同步显示于所述显示屏213的同一视频展示界面，以便形成第二视频图像；所述麦克风214，其被配置为采集所述第二视频图像的音频信息，达到将在车辆200中获取的多个视频整合至车载终端210的一个界面中形成视频并呈现，使得车载显示更加多方位多角度，提高车载显示的人机交互性的目的。
其中，于本实施例中，所述车载终端210进一步包括电子时钟，其被配置为获取各所述第一视频图像的采集时间戳；所述至少一处理器211进一步被配置为：基于各所述第一视频图像的采集时间戳，使各所述第一视频图像同步显示于所述显示屏213的所述视频展示界面，以便形成所述第二视频图像。
由于从各个视频源采集的第一视频图像进入所述车载终端210的时间并不一定相同，例如，车内摄像头和车外摄像头一直在录制图像，移动终端100在某一时刻将采集的视频图像传入车载终端210，使各所述第一视频图像同步显示于所述视频展示界面之前，所述处理器211获取各所述第一视频图像的采集时间戳，将各所述第一视频图像的采集时间戳按照时间轴对准，使得使各所述第一视频图像同步显示于所述视频展示界面。
其中，于本实施例中，所述至少一处理器211进一步被配置为：获取各所述第一视频图像的音频信息以用于匹配；以及基于各所述第一视频图像的音频信息的匹配结果，使各所述第一视频图像同步显示于所述显示屏213的所述视频展示界面，以便形成所述第二视频图像。
于本实施例中，所述处理器211分别采集各所述第一视频图像的音频信息，对各所述第一视频图像的音频信息进行识别，基于识别结果匹配各所述第一视频图像的音频信息是否相同，并基于音频信息相同时所对应的时刻使各所述第一视频图像同步显示于所述视频展示界面，形成所述第二视频图像。
其中，于本实施例中，所述至少一处理器211还被配置为：经由所述麦克风214或所述显示屏213接收视频操作指令；基于接收到的视频操作指令识别所述视频操作指令在所述第一视频图像中所指示的操作对象；以及在所述第一视频图像中以预设标识方式标识所述操作对象，以便于呈现。
即于本实施例中，若视频源中的第一视频图像为屏幕录制视频图像，所述处理器211识别屏幕录制过程中用户输入的视频操作指令，其中，所述视频操作指令包括触摸操控指令，语音操控指令等。本实施例中，所述处理器211对用户输入的视频操作指令进行识别，确定所述视频操作指令对应的操作对象，并以预设标识方式标识所述操作对象。
其中，所述预设标识方式例如为划线、画圈、涂色、放大等明显可以突出所述操作对象的标识方式。
即本实施例中，所述处理器211可以基于用户对所述视频展示界面中显示的第一视频图像的视频操作指令，自动识别用户所要操作的第一视频图像中的操作对象，并对用户所操作的操作对象进行标识，使得其他观看用户能够直观地了解操作的区域、按键等，便于用户理解知悉每一步骤的操作对象，更易于理解，更容易上手，提高分享和教学的效果。
于本实施例中，所述处理器211将采集的各所述第一视频图像处理为显示于同一视频展示界面，以便形成第二视频图像之后，所述处理器211还被配置为：分别识别所述各视频图像中的音频信息，以便于转换为字幕信息；以及在所述第二视频图像中显示所述字幕信息。
本实施例中，所述处理器211分别识别所述第一视频图像中的音频信息，并将所述音频信息转换为字幕信息，然后对比是否存在相同的字幕信息，若相同，则于所述视频展示界面显示该相同的字幕信息，若不相同，则分别于各第一视频图像处显示对应的字幕信息。
于本实施例中，所述处理器211也可以先对比所述第一视频图像中的音频信息是否相同，若相同，输出该相同的音频信息对应的字幕信息，若不相同，则分别于各第一视频图像处显示对应的字幕信息。
可见本实施例中的用于视频处理的车载终端210可以自动识别音频信息，并根据识别结果对应显示第二视频图像的字幕，有效提高用户体验性以及视频制作的便捷性。
于本实施例中，所述形成所述第二视频图像之后，所述处理器211还被配置为基于所述操作对象、所述音频信息和所述字幕信息中的至少一项，生成所述第二视频图像的标签。即本实施例中，所述处理器211对所述第二视频图像建立标签，其中，所述处理器211可以依据上述识别的操作对象、识别的音频信息或识别的字幕信息确定标签关键字，通过确定的标签关键字直接或经用户确认后为所述第二视频图像建立标签。
此外，所述处理器211也可以基于上述识别的操作对象、识别的音频信息或识别的字幕信息查找匹配的预设标签，基于匹配的预设标签为所述第二视频图像建立标签。所以本实施例的视用于视频处理的车载终端210通过为所述第二视频图像生成标签，便于对所述第二视频图像进行分类存储，例如用户可以一键将所述第二视频图像上传到教学/体验专区，并根据所述第二视频图像对应的标签自动归类，便于用户分享和查找，更有利于用户建立自助共享社区，进行社交和互动，让车辆的体验和教学资源得到最大化的丰富和利用。
除此之外，本实施例中，所述处理器211生成所述第二视频图像的标签之后，所述处理器211还被配置为响应于接收到分享指令，将所述第二视频图像发送至预先关联的远端设备。
其中，所述远端设备为但不限于手机、PAD、可穿戴设备、智能AI设备、个人电脑、服务器、智能家电设备等电子设备，以供远端的用户可以实时共享所述第二视频图像，达到远程观看车辆200周围多角度视频的目的。
本实施例还提供一种电子设备，所述电子设备为手机、PAD、可穿戴设备、智能AI设备、车载设备等；所述电子设备包括存储器212，用于存储计算机程序；处理器211，用于运行所述计算机程序以实现如上所述的视频处理方法。
存储器212通过系统总线与处理器211连接并完成相互间的通信，存储器212102用于存储计算机程序，处理器211用于运行计算机程序，以使所述电子设备执行如图2至图6所示的视频处理方法。上述已经对所述视频处理方法进行了详细说明，在此不再赘述。
上述的处理器211101可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
此外，本实施例还提供一种存储介质，存储有程序指令，所述程序指令被处理器211执行时实现上述的视频处理方法。上述已经对所述视频处理方法进行了详细说明，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明可以将在车辆中获取的多个视频整合至车载终端的一个界面中形成视频并呈现，使得车载显示更加多方位多角度，提高车载显示的人机交互性，可以基于图像的时间戳或音频信息使得显示于车载终端的同一个界面中的各视频同步，使得用户可以从不同视角去查看教学帮助或体验视频；本发明可以根据触控操作/语音等用户操作识别出对界面显示视频的操作对象，并在视频中标识出操作对象，使得其他观看用户能够直观地了解操作的区域、按键等，更易于理解，提高分享和教学的效果；本发明可以自动识别显示的视频中的音频信息，并将识别的音频信息自动转换为字幕信息，显示于视频界面，有效提高用户体验性以及视频制作的便捷性；本发明可以自动为显示的视频生成对应的标签，以便于对视频进行分类存储，进而便于其他用户查找观看所述视频；本发明还可以基于用户的分享指令，将车载终端同一界面的视频分享至手机、电脑、电视等远端设备，实现远程观看车辆周围多角度视频的目的。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种视频处理方法，其特征在于，包括以下步骤：
响应于接收到采集指令，从车载终端、移动终端、车内摄像头、车外摄像头中的至少两个视频源采集第一视频图像；以及
将采集的各所述第一视频图像同步显示于同一视频展示界面，以便形成第二视频图像。
2.根据权利要求1所述的方法，其中，所述将采集的各所述第一视频图像同步显示于同一视频展示界面，以便形成第二视频图像包括以下步骤：
获取各所述第一视频图像的采集时间戳；以及
基于各所述第一视频图像的采集时间戳，使各所述第一视频图像同步显示于所述视频展示界面，以便形成所述第二视频图像。
3.根据权利要求1所述的方法，其中，所述将采集的各视频图像同步显示于同一视频展示界面包括以下步骤：
获取各所述第一视频图像的音频信息以用于匹配；以及
基于各所述第一视频图像的音频信息的匹配结果，使各所述第一视频图像同步显示于所述视频展示界面，以便形成所述第二视频图像。
4.根据权利要求1所述的方法，其中，从所述车载终端采集的第一视频图像基于以下步骤而呈现：
响应于接收到视频操作指令，识别所述视频操作指令在所述第一视频图像中所指示的操作对象；以及
在所述第一视频图像中以预设标识方式标识所述操作对象，以便于呈现。
5.根据权利要求1所述的方法，其中，所述将采集的各所述第一视频图像显示于同一视频展示界面，以便形成第二视频图像之后，还包括以下步骤：
分别识别所述各视频图像中的音频信息，以便于转换为字幕信息；以及
在所述第二视频图像中显示所述字幕信息。
6.根据权利要求1至5任一权利要求所述的方法，其中，所述形成所述第二视频图像之后，还包括以下步骤：
基于所述操作对象、所述音频信息和所述字幕信息中的至少一项，生成所述第二视频图像的标签。
7.根据权利要求6所述的方法，其中，所述生成所述第二视频图像的标签之后，还包括以下步骤：
响应于接收到分享指令，将所述第二视频图像发送至预先关联的远端设备。
8.一种用于视频处理的车载终端，其特征在于，所述车载终端与车载摄像头通信连接，所述车载终端包括至少一处理器，麦克风以及显示屏，其中，
所述至少一处理器，其被配置为：接收采集指令；基于所述采集指令从移动终端或至少一个所述车载摄像头采集第一视频图像；以及将采集的各所述第一视频图像处理为同步显示于所述显示屏的同一视频展示界面，以便形成第二视频图像；
所述麦克风，其被配置为采集所述第二视频图像的音频信息。
9.根据权利要求8所述的车载终端，其中，所述车载终端进一步包括电子时钟，其被配置为获取各所述第一视频图像的采集时间戳；所述至少一处理器进一步被配置为：基于各所述第一视频图像的采集时间戳，使各所述第一视频图像同步显示于所述显示屏的所述视频展示界面，以便形成所述第二视频图像。
10.根据权利要求8所述的车载终端，其中，所述至少一处理器进一步被配置为：获取各所述第一视频图像的音频信息以用于匹配；以及基于各所述第一视频图像的音频信息的匹配结果，使各所述第一视频图像同步显示于所述显示屏的所述视频展示界面，以便形成所述第二视频图像。
11.根据权利要求8所述的车载终端，其中，所述至少一处理器还被配置为：经由所述麦克风或所述显示屏接收视频操作指令；基于接收到的视频操作指令识别所述视频操作指令在所述第一视频图像中所指示的操作对象；以及在所述第一视频图像中以预设标识方式标识所述操作对象，以便于呈现。
12.根据权利要求8所述的车载终端，其中，将采集的各所述第一视频图像处理为同步显示于同一视频展示界面，以便形成第二视频图像之后，所述处理器还被配置为：分别识别所述各视频图像中的音频信息，以便于转换为字幕信息；以及在所述第二视频图像中显示所述字幕信息。
13.根据权利要求8至12任一权利要求所述的车载终端，其中，所述形成所述第二视频图像之后，所述处理器还被配置为基于所述操作对象、所述音频信息和所述字幕信息中的至少一项，生成所述第二视频图像的标签。
14.一种存储介质，存储有程序指令，其中，所述程序指令被执行时实现如权利要求1至权利要求7任一项所述的方法。
15.一种电子设备，其中，包括存储器，用于存储计算机程序；处理器，与所述存储器相连，用于运行所述计算机程序以实现如权利要求1至7任一项所述的方法。
CN202110624035.2A 2021-06-04 2021-06-04 视频处理方法、存储介质及用于处理视频的车载终端 Active CN115442646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110624035.2A CN115442646B (zh) 2021-06-04 2021-06-04 视频处理方法、存储介质及用于处理视频的车载终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110624035.2A CN115442646B (zh) 2021-06-04 2021-06-04 视频处理方法、存储介质及用于处理视频的车载终端

Publications (2)

Publication Number Publication Date
CN115442646A true CN115442646A (zh) 2022-12-06
CN115442646B CN115442646B (zh) 2023-12-15

Family

ID=84271942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110624035.2A Active CN115442646B (zh) 2021-06-04 2021-06-04 视频处理方法、存储介质及用于处理视频的车载终端

Country Status (1)

Country Link
CN (1) CN115442646B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103359020A (zh) * 2013-07-04 2013-10-23 陈凌峰 一种机动车驾驶培训或考试监控方法和系统
CN112492357A (zh) * 2020-11-13 2021-03-12 北京安博盛赢教育科技有限责任公司 一种处理多视频流的方法、装置、介质和电子设备
CN112752047A (zh) * 2019-10-30 2021-05-04 北京小米移动软件有限公司 视频录制方法、装置、设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103359020A (zh) * 2013-07-04 2013-10-23 陈凌峰 一种机动车驾驶培训或考试监控方法和系统
CN112752047A (zh) * 2019-10-30 2021-05-04 北京小米移动软件有限公司 视频录制方法、装置、设备及可读存储介质
CN112492357A (zh) * 2020-11-13 2021-03-12 北京安博盛赢教育科技有限责任公司 一种处理多视频流的方法、装置、介质和电子设备

Also Published As

Publication number Publication date
CN115442646B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN102473304B (zh) 元数据标记系统、图像搜索方法和设备、及其用于标记手势的方法
US9204131B2 (en) Remote control system
KR101843592B1 (ko) 동적 ui 프레임워크를 통한 주 스크린 뷰 제어
GB2590209A (en) Search page interaction method, device and terminal and storage medium
US20130170710A1 (en) Method for supporting a user of a motor vehicle in operating the vehicle and portable communication device
CN103335657A (zh) 一种基于图像捕获和识别技术增强导航功能的方法和系统
CN101799975A (zh) 一种学习型遥控器及其按键模板创建方法
CN103809876A (zh) 车用影像系统及其影像的显示控制方法
CN107145278B (zh) 基于移动终端的设备控制方法、装置和移动终端
CN113589938B (zh) 具备弹幕功能的车载终端信息分享系统
CN103365697A (zh) 汽车仪表开机画面个性化方法及相应汽车仪表
CN114815779B (zh) 基于ar与vr的汽车远程交互诊断方法、系统及其存储介质
CN114661026A (zh) 基于增强现实的交互式车辆远程诊断方法、系统及其存储介质
CN105091894A (zh) 导航方法、智能终端设备及可穿戴设备
CN110956483A (zh) 广告信息推送方法、系统、服务器及车辆
CN104903844A (zh) 用于呈现网络和相关联的移动设备中的数据的方法
CN112835484B (zh) 基于操作体的动态显示方法、装置、存储介质及电子设备
AU2018432003A1 (en) Video processing method and device, and terminal and storage medium
CN115442646B (zh) 视频处理方法、存储介质及用于处理视频的车载终端
CN113163228B (zh) 媒资播放类型标记方法及服务器
KR101847616B1 (ko) 영상표시장치, 서버 및 그 동작방법
CN105163055A (zh) 动态记录装置、回放装置及动态记录方法、回放方法
CN104796585A (zh) 影像动态记录装置、回放装置及影像动态记录方法、回放方法
CN104219425A (zh) 热像动态记录装置、回放装置及热像动态记录方法、回放方法
JP2010257483A (ja) 運転支援装置および運転支援方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant