CN114040183A - 图像处理方法、移动终端及存储介质 - Google Patents
图像处理方法、移动终端及存储介质 Download PDFInfo
- Publication number
- CN114040183A CN114040183A CN202111314696.1A CN202111314696A CN114040183A CN 114040183 A CN114040183 A CN 114040183A CN 202111314696 A CN202111314696 A CN 202111314696A CN 114040183 A CN114040183 A CN 114040183A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- angle
- mobile terminal
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000000007 visual effect Effects 0.000 claims abstract description 59
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001960 triggered effect Effects 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 18
- 230000006870 function Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Abstract
本申请公开一种图像处理方法、移动终端及存储介质,方法包括:接收视频图像帧;根据所述视频图像帧中的图像信息建立所述视频图像帧的三维图像数据;根据所述三维图像数据形成目标图像帧。本申请基于组成视频的视频图像帧包括三维图像数据,可以通过调整显示视角来改变视频图像帧的显示角度,如显示其它维度的图像数据,进而改变视频的呈现效果。使得一个视频具有多个呈现角度,丰富视频的呈现效果。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法、移动终端及存储介质。
背景技术
随着技术的进步,电子设备的功能越来越丰富,尤其是移动终端具备拍照和录制视频的功能,使得移动终端成为出行的必备设备。
在构思及实现本申请过程中,发明人发现至少还存在如下问题:移动终端录制的视频是基于二维视频图像帧根据一定时序形成的,视频的视角比较单一,从而导致视频的呈现比较单一。
前面的叙述在于提供一般的背景信息,并不一定构成现有技术。
发明内容
针对上述技术问题,本申请提供一种图像处理方法、移动终端及存储介质,使得形成的视频具有三维图像数据,如此用户可以根据需求调整视频视角,丰富视频的呈现效果。
为解决上述技术问题,本申请提供一种图像处理方法,所述方法包括:
接收视频图像帧;
根据所述视频图像帧中的图像信息建立所述视频图像帧的三维图像数据;
根据所述三维图像数据形成目标图像帧。
可选地,所述根据所述视频图像帧中的图像信息建立所述视频图像帧的三维图像数据的步骤包括:
基于预设的图像三维模型以及所述视频图像帧中的图像景深信息建立所述视频图像帧的三维图像数据。
可选地,所述接收视频图像帧的步骤之前,还包括:
监测到视角切换时,获取目标拍摄角度;
输出所述目标拍摄角度的切换操作提示信息,以提示用户旋转移动终端和/或所述移动终端的摄像头至所述目标拍摄角度;
或者,控制移动终端和/或所述移动终端的摄像头旋转,使得所述移动终端的摄像头旋转至所述目标拍摄角度以采集所述视频图像帧。
可选地,所述监测到视角切换时,获取目标拍摄角度的步骤包括以下至少一个:
检测到增强现实模型的旋转操作时,获取所述增强现实模型旋转后的朝向角度,将所述朝向角度作为所述目标拍摄角度;
接收到手势信息时,根据所述手势信息确定所述目标拍摄角度;
接收到语音控制信息时,根据所述语音控制信息的控制指令确定目标拍摄角度;
检测到追踪的目标主体的朝向角度与前一帧视频图像帧中目标主体的朝向角度不一致时,将所述目标主体当前的朝向角度作为所述目标拍摄角度。
可选地,所述接收视频图像帧的步骤之前,还包括:
获取情景类型;
根据所述情景类型确定目标拍摄角度;
输出所述目标拍摄角度的切换操作提示信息,或者控制移动终端旋转,使得所述移动终端的摄像头旋转至所述目标拍摄角度来采集所述视频图像帧。
可选地,所述情景类型不同,对应的拍摄角度不同。
可选地,所述目标图像帧包括至少两个时,所述根据所述三维图像数据形成目标图像帧的步骤之后,还包括:
根据所述目标图像帧以及预设时间顺序形成初始目标视频。
可选地,所述所述目标图像帧以及预设时间顺序形成初始目标视频的步骤之后,还包括:
接收到视角切换操作时,基于所述视角切换操作确定目标视角;
按照所述目标视角旋转所述初始目标视频的视频图像帧的显示角度。
可选地,所述所述目标图像帧以及预设时间顺序形成初始目标视频的步骤之后,还包括:
接收到视频设置信息时,根据所述设置信息确定目标视频段;
裁剪所述目标视频段;
拼接所述目标视频段,以形成目标视频。
可选地,所述根据所述设置信息确定目标视频段的步骤包括:
所述设置信息包括目标视角设置,将拍摄角度与所述目标视角相同的视频段作为所述目标视频段;和/或,
所述设置信息包括目标对象设置,将包含有所述目标对象的视频段作为所述目标视频段。
为了实现上述目的,本申请还提供一种图像处理方法,所述方法包括:
响应基于目标视频触发的调整操作;
获取所述调整操作的调整类型,可选地,所述调整类型包括视角切换以及视频设置中的至少一个;
按照所述调整类型调整所述目标视频,可选地,所述目标视频的视频图像帧包括三维图像数据。
可选地,所述按照所述调整类型调整所述目标视频的步骤包括:
所述调整类型为视角切换,基于所述调整操作确定目标视角;
按照所述目标视角旋转所述目标视频的视频图像帧的显示角度。
可选地,所述按照所述目标视角旋转所述目标视频的视频图像帧的显示角度的步骤包括:
根据所述目标角度在视频图像帧的三维图像数据中确定目标维度的图像数据;
将所述目标维度的图像数据旋转至显示界面。
可选地,所述按照所述调整类型调整所述目标视频的步骤包括:
所述调整类型为视频设置,根据所述调整操作获取设置信息;
根据所述设置信息确定目标视频段;
裁剪所述目标视频段;
拼接所述目标视频段,以形成目标视频。
可选地,所述根据所述设置信息确定目标视频段的步骤包括:
所述设置信息包括目标视角设置,将拍摄角度与所述目标视角相同的视频段作为所述目标视频段;和/或,
所述设置信息包括目标对象设置,将包含有所述目标对象的视频段作为所述目标视频段。
本申请还提供一种移动终端,包括:存储器、处理器,其中,所述存储器上存储有图像处理程序,所述图像处理程序被所述处理器执行时实现如上任一所述方法的步骤。
本申请还提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
如上所述,本申请的图像处理方法,应用于移动终端,采集视频图像帧后,传输至图像处理器,所述图像处理器根据所述视频图像帧的图像信息建立所述视频图像帧的三维图像数据,进而基于所述三维图像数据形成目标图像帧。至少一个所述目标图像帧基于编码器进行编码后,可以形成视频。基于组成视频的视频图像帧包括三维图像数据,可以通过调整显示视角来改变视频图像帧的显示角度,如显示其它维度的图像数据,进而改变视频的呈现效果。使得一个视频具有多个呈现角度,丰富视频的呈现效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为实现本申请各个实施例的一种移动终端的硬件结构示意图;
图2为本申请实施例提供的一种通信网络系统架构图;
图3是根据第一实施例示出的图像处理方法的流程示意图;
图4是根据第二实施例示出的图像处理方法的流程示意图;
图5是根据第二实施例示出移动终端的相机预览界面示意图;
图6是根据第三实施例示出的图像处理方法的流程示意图;
图7是根据第四实施例示出的图像处理方法的流程示意图;
图8是根据第五实施例示出的图像处理方法的流程示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,在本文中,采用了诸如S10、S20等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S20后执行S10等,但这些均应在本申请的保护范围之内。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。
移动终端可以以各种形式来实施。例如,本申请中描述的移动终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端,以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本申请的实施方式的构造也能够应用于固定类型的终端。
请参阅图1,其为实现本申请各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括:RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图1对移动终端的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution,频分双工长期演进)、TDD-LTE(Time DivisionDuplexing-Long Term Evolution,分时双工长期演进)和5G等。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。可选地,光传感器包括环境光传感器及接近传感器,可选地,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。可选地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
可选地,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,可选地,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,可选地,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
为了便于理解本申请实施例,下面对本申请的移动终端所基于的通信网络系统进行描述。
请参阅图2,图2为本申请实施例提供的一种通信网络系统架构图,该通信网络系统为通用移动通信技术的LTE系统,该LTE系统包括依次通讯连接的UE(User Equipment,用户设备)201,E-UTRAN(Evolved UMTS Terrestrial Radio Access Network,演进式UMTS陆地无线接入网)202,EPC(Evolved Packet Core,演进式分组核心网)203和运营商的IP业务204。
可选地,UE201可以是上述终端100,此处不再赘述。
E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地,eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接,eNodeB2021连接到EPC203,eNodeB2021可以提供UE201到EPC203的接入。
EPC203可以包括MME(Mobility Management Entity,移动性管理实体)2031,HSS(Home Subscriber Server,归属用户服务器)2032,其它MME2033,SGW(Serving Gate Way,服务网关)2034,PGW(PDN Gate Way,分组数据网络网关)2035和PCRF(Policy andCharging Rules Function,政策和资费功能实体)2036等。可选地,MME2031是处理UE201和EPC203之间信令的控制节点,提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能,并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送,PGW2035可以提供UE 201的IP地址分配以及其它功能,PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点,它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。
IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem,IP多媒体子系统)或其它IP业务等。
虽然上述以LTE系统为例进行了介绍,但本领域技术人员应当知晓,本申请不仅仅适用于LTE系统,也可以适用于其他无线通信系统,例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统(如5G)等,此处不做限定。
基于上述移动终端硬件结构以及通信网络系统,提出本申请各个实施例。
第一实施例
请参阅图3,本实施例提供的图像处理方法应用于移动终端,所述方法包括:
步骤S10,接收视频图像帧;
步骤S20,根据所述视频图像帧中的图像信息建立所述视频图像帧的三维图像数据;
步骤S30,根据所述三维图像数据形成目标图像帧。
所述移动终端可以是手机、平板电脑、摄影机、摄像机等可移动设备。本实施例以移动终端为手机为例进行说明,所述移动终端上具有拍照APP,且拍照APP具有录制视频的功能。
移动终端录制的视频一般是基于二维视频图像帧根据一定时序形成的,视频的视角比较单一,视频的呈现比较单一。基于此,本实施例视频图像帧处理过程中,建立所述视频图像帧的三维图像数据,使得形成的视频具有三维图像数据,如此用户可以根据需求调整视频视角,丰富视频的呈现效果。
可选地,本实施例移动终端的摄像头采集视频图像帧后,传输至图像处理器,所述图像处理器根据所述视频图像帧的图像信息建立所述视频图像帧的三维图像数据,进而基于所述三维图像数据形成目标图像帧。至少一个所述目标图像帧基于编码器进行编码后,可以形成视频。如此,基于组成视频的视频图像帧包括三维图像数据,可以通过调整显示视角来改变视频图像帧的显示角度,如显示其它维度的图像数据,进而改变视频的呈现效果。使得一个视频具有多个呈现角度,丰富视频的呈现效果。
可选地,本实施例中,根据所述视频图像帧中的图像信息建立所述视频图像帧的三维图像数据的方式包括但不限于以下实施例:
如一实施例中,基于预设的图像三维模型以及所述视频图像帧中的图像景深信息建立所述视频图像帧的三维图像数据。
本实施例移动终端内设置有图像三维模型,将采集的视频图像帧输入所述图像三维模型,所述图像三维模型分析所述视频图像帧中的图像景深信息,进而基于预设的逻辑关系将搜索视频图像帧中的图像信息模拟到三维空间中,以建立所述视频图像帧的三维图像数据。
需要说明的是,摄像头虽然是在二维平面内采集视频图像帧,但是现实场景是在三维空间中分布的,摄像头采集视频图像帧时,不同视角的物体会通过图像景深信息区分。基于此,本实施例设置能够基于图像景深信息分析二维图像中的三维数据的图像三维模型,建立所述视频图像帧的三维图像数据。
可选地,所述图像三维模型为基于人工智能的图像三维模型。
本实施例采用图像三维模型建立视频图像帧的三维图像数据,可以减少摄像头的设置,降低设备成本。
如另一实施例中,基于移动终端上设置的至少两个摄像头采集的至少两帧视频图像帧的图像信息建立所述视频图像帧的三维图像数据。
本实施例中,在移动终端上述设置至少两个摄像头,至少两个所述摄像头的采集方向不同。同时打开至少两个所述摄像头,至少两个所述摄像头从不同方向采集至少两帧视频图像帧,至少两帧视频图像帧中包含不同角度的图像信息,如此,基于至少两帧所述视频图像帧中的图像信息,可形成所述视频图像帧的三维图像数据。
可选地,本实施例可通过所述移动终端不同端面设置所述摄像头,实现不同角度采集所述视频图像帧。或者,在另一些实施例中,所述移动终端包括折叠屏,通过转动所述折叠屏,改变折叠屏的屏幕的折叠角度,使得设置在折叠屏的不同屏幕上的摄像头的拍摄方向不同,实现从不同角度采集所述视频图像帧。
可选地,建立所述视频图像帧的三维图像数据后,采用图像帧的形式输出所述三维图像数据(也即所述目标图像帧),然后对所述目标图像帧进行编码,结合其它目标图像帧形成目标视频。可以理解的是,所述目标视频的每帧图像均具有三维数据,视频显示的是二维数据,用户可以通过改变部分视频图像帧的显示角度,以改变目标实现的显示内容,进而丰富视频的显示效果。
第二实施例
请参阅图4,本实施例基于上述实施例提出移动终端在录制视频过程中切换录制视角,以获得更丰富的三维图像数据的一实现方式。如所述接收视频图像帧的步骤之前,还包括:
步骤S40,监测到视角切换时,获取目标拍摄角度;
步骤S50,输出所述目标拍摄角度的切换操作提示信息,以提示用户旋转移动终端和/或所述移动终端的摄像头至所述目标拍摄角度;
或者,控制移动终端和/或所述移动终端的摄像头旋转,使得所述移动终端的摄像头旋转至所述目标拍摄角度以采集所述视频图像帧。
可以理解的是,输出所述目标拍摄角度的切换操作提示信息,提示用户目标拍摄角度,用户可根据提示信息调整移动终端和/或移动终端的摄像头的位置,进而使得摄像头朝向与所述目标拍摄角度一致的方向采集所述视频图像帧。可选地,所述提示信息包括移动位置提示,如向左移动、向右移动、向下移动、向上移动或者转动等。所述提示信息可以通过指示图标的方式输出,也可以通过文字或语音的方式输出,或者通过操作手势的方式输出。
或者,所述移动终端装设在一个可移动支架上,如云台等设备上,通过控制可移动支架旋转,使得所述移动终端自动旋转,进而将摄像头旋转至所述目标拍摄角度,采集所述视频图像帧。或者,在一些可选实施例中,所述移动终端上的摄像头活动安装于所述移动终端,在具有拍摄视角切换需求时,直接控制所述摄像头旋转,使得所述摄像头朝向与所述目标拍摄角度一致的方向采集视频图像帧。
移动终端实时或定时监测视角需求,当监测到有视角切换需求时,判定监测到视角切换,则确定目标拍摄角度后,提示用户切换拍摄角度,使得移动终端从所述目标拍摄角度采集视频图像帧。
可选地,所述监测到视角切换时,获取目标拍摄角度的步骤包括以下至少一个:
一)、检测到增强现实模型的旋转操作时,获取所述增强现实模型旋转后的朝向角度,将所述朝向角度作为所述目标拍摄角度。
本实施例中,移动终端的相机应用中设置由AR导演模式,基于所述AR导演模式可进行电影或微电影拍摄。
可选地,请参阅图5,所述AR导演模式中,模拟有一AR导演模10,也即所述增强现实模型,所述AR导演模型10在相机预览界面中显示,所述AR导演模型10的朝向与移动终端的摄像头的拍摄视角相同。可选地,所述AR导演模型10为人物形象模型或者为卡通形象模型,用于指示拍摄过程,角度的切换方向。可选地,所述AR导演模型10的朝向角度即为拍摄过程中的目标拍摄角度,所述AR导演模型10的朝向改变时,所述摄像头的拍摄视角改变。
所述AR导演模型10于所述预览界面中可根据所需的立体角度旋转,用户可通过触摸所述AR导演模型10触发AR导演模式。可选地,用户可以通过改变AR导演模型10的朝向来改变所述目标拍摄角度。如在所述AR导演模型10上往左滑动,所述AR导演模型10则在立体空间中向左转动,使得所述AR导演模型10朝向左侧。或者,如在所述AR导演模型10上往右滑动,所述AR导演模型10则在立体空间中向右转动,使得所述AR导演模型10朝向右侧。或者在所述所述AR导演模型10上往上滑动,所述AR导演模型10在立体空间中往上转动,或者所述AR导演模型10的头部往上转动,使得所述AR导演模型10或者所述AR导演模型10的头部朝向上方。或者在所述AR导演模型10往下滑动,所述AR导演模型10在立体空间中往下转动,或者所述AR导演模型10的头部往下转动,使得所述AR导演模型10或者所述AR导演模型10的头部朝向下方。基于所述AR导演模型10的朝向与移动终端的摄像头的拍摄视角相同,如此,通过改变所述AR导演模型10的朝向来触发移动终端的摄像头的拍摄角度切换。
可选地,在一些实施例中,所述AR导演模型10可以通过预设的触控按键控制,或者通过遥控按键控制。
可选地,在一些实施例中,所述AR导演模型10还可以通过语音或手势控制。
本实施例中,若检测到所述AR导演模型10的转动,则判定监测到所述AR导演模型10的旋转操作,根据所述旋转操作确定最终的旋转方向,基于所述旋转方向确定目标拍摄角度。
本实施例基于AR导演模型10实现在录制视频过程中切换拍摄角度,使得获得的三维图像数据更全面的同时,增加视频录制的交互体验,增强电源模式可玩性。
二)、接收到手势信息时,根据所述手势信息确定所述目标拍摄角度。
在本实施例中,所述移动终端的前置摄像头可实时获取用户手势信息,接收到手势信息,且所述手势信息与预设的切换角度的手势信息匹配时,可基于用户的手势信息确定所述目标拍摄角度。
可选地,不同的拍摄方向对应映射有不同的手势信息,通过识别所述手势信息的类型确定目标拍摄角度。
或者,在一些可选实施例中,预设手势信息与所述摄像头的当前拍摄角度关联,若检测到所述手势信息与所述预设手势信息匹配,则基于所述预设手势信息与所述摄像头的当前拍摄角度关联、所述手势信息的指示信息确定所述目标拍摄角度。如手势为向左指向,则基于当前拍摄角度向左旋转。如手势为向右指向,则基于当前拍摄角度向右旋转。如手势为向上指向,则基于当前拍摄角度向上旋转。如手势为向下指向,则基于当前拍摄角度向下旋转。
本实施例通过手势操作目标拍摄角度的方式,主要应用于移动终端自动旋转的实施例中,手势控制的方式,便于用户操作,且可以与移动终端无触摸控制,实现远距离操控。
三)、接收到语音控制信息时,根据所述语音控制信息的控制指令确定目标拍摄角度。
本实施例预设旋转角度的语音控制指令,通过语音控制所述移动终端切换拍摄角度。
接收到语音控制信息时,基于所述语音控制信息与预设的语音控制指令对应的关键词确定是否为移动终端的视角切换操作,若是,则判定监测要视角切换,然后通过分析语音控制信息的控制指令确定目标拍摄角度。
本实施例与手势操作方式相似,主要应用于移动终端自动选择的实施例中,操作便捷,与移动终端无接触控制,实现远距离操控。
四)、检测到追踪的目标主体的朝向角度与前一帧视频图像帧中目标主体的朝向角度不一致时,将所述目标主体当前的朝向角度作为所述目标拍摄角度。
本实施例中,通过追踪目标主体的方式判定是否有视角切换。如预设拍摄视场中的某个物体或某个人为目标主体,设置所述目标主体的朝向与目标拍摄角度关联,如所述目标主体的朝向与所述目标拍摄角度关联。如此,在视频图像帧采集过程中,通过识别所述视频图像帧中所述目标主体的朝向角度与前一帧视频图像帧中所述目标主体的朝向角度是否相同,判定是都有视角切换。若相同,则无视角切换,和/或,若不相同,则判定有视角切换。
有视角切换时,通过追踪所述目标主体的朝向角度确定目标拍摄角度,进而将移动终端的摄像头移动至与所述目标拍摄角度一致的拍摄角度来采集所述视频图像帧。
本实施例中,通过目标主体追踪的方式切换拍摄视角,目标拍摄角度更明确,可以根据需求获取以目标主体的朝向为视角的视频,增加视频的类型,增加视频录制功能。
第三实施例
请参阅图6,本实施例基于上述所有实施例,本实施例中,摄像头的拍摄角度基于预设的情景类型进行调整,使得拍摄的视频达到情景类型需求的效果,如达到电影的拍摄效果。如所述接收视频图像帧的步骤之前,还包括:
步骤S60,获取情景类型;
步骤S70,根据所述情景类型确定目标拍摄角度;
步骤S80,输出所述目标拍摄角度的切换操作提示信息,以提示用户旋转移动终端和/或所述移动终端的摄像头至所述目标拍摄角度;
或者,控制移动终端和/或者所述移动终端的摄像头旋转,使得所述移动终端的摄像头旋转至所述目标拍摄角度以采集所述视频图像帧。
可选地,所述情景类型不同,对应的拍摄角度不同。可选地,同一个视频的录制过程中,可能存在至少一种情景类型,因此同一个视频存在至少一个拍摄角度。
可以理解的是,输出所述目标拍摄角度的切换操作提示信息,提示用户目标拍摄角度,用户可根据提示信息调整移动终端和/或移动终端的摄像头的位置,进而使得摄像头朝向至与所述目标拍摄角度一致的方向采集所述视频图像帧。可选地,所述提示信息包括移动位置提示,如向左移动、向右移动、向下移动、向上移动或者转动等。所述提示信息可以通过指示图标的方式输出,也可以通过文字或语音的方式输出,或者通过操作手势的方式输出。
本实施例中,移动终端预设情景类型与拍摄角度的映射关系。可选地,所述情景类型可以是模拟电影情景的类型,如动作情景、吃饭情景、对话情景类、飞行情景等。或者,所述情景类型也可以是模拟生活场景的类型,如走路情景、跑步情景、比赛情景等。
基于情景类型不同,用户需求显示的角度不同,本实施例通过情景类型的设定,在拍摄过程中,根据情景类型切换目标拍摄角度,实现从不同角度采集视频图像帧,进而形成多个角度拍摄的视频。且基于多个视角拍摄的视频图像帧均为三维图像数据,可呈现的视角更多,视频的显示效果更丰富。
可选地,本实施例可以结合所述AR导演模型,所述AR导演模型于所述情景类型关联的拍摄角度关联,基于所述情景类型确定目标拍摄角度后,所述AR导演模型转动至与所述目标拍摄角度一致的朝向,更易于用户了解拍摄角度的切换过程。
本实施例基于情景类型自动确定目标拍摄角度,进而使得所述移动终端的摄像头旋转至所述目标拍摄角度来采集所述视频图像帧。整个视频拍摄过程中,无需人为导演拍摄角度,用户只需按照提示信息移动摄像头,或者移动终端自动完成拍摄角度的切换。本实施例不仅使得视频的拍摄效果更丰富,且还提高拍摄效率,减少人为控制,方便快捷,适用人群更广。
第四实施例
请参阅图7,本实施例基于上述所有实施例,通过上述所有实施例获得的所述目标图像帧包括至少两个时,所述根据所述三维图像数据形成目标图像帧的步骤之后,还包括:
步骤S90,根据所述目标图像帧以及预设时间顺序形成初始目标视频。
移动终端内设有编码器,所述编码器基于所述目标图像帧的时间戳进行编码。编码后的所述目标图像帧形成所述初始目标视频。
可以理解的是,所述初始目标视频为所述移动终端摄像头视角采集到的图像帧形成的视频。所述初始目标视频中的每帧视频图像帧包括所述摄像头视角采集到的图像数据以及相关的三维数据。
可选地,本实施例形成初始目标视频后,由于所述初始目标视频由多帧所述目标图像帧形成,而所述目标图像帧具有三维图像数据,因此所述初始目标视频具有不同视角的图像数据。基于此,本实施例增加视频编辑功能,使得所述初始目标视频基于编辑操作,改变视频的显示角度,获得不同显示效果的视频。
可选地,本实施例视频编辑功能包括但不限于以下实施例:
如一实施例中,所述所述目标图像帧以及预设时间顺序形成初始目标视频的步骤之后,还包括:
接收到视角切换操作时,基于所述视角切换操作确定目标视角;
按照所述目标视角旋转所述初始目标视频的视频图像帧的显示角度。
可选地,请参阅图5,在移动终端的视频编辑功能中设置AR导演模10,通过旋转AR导演模型10指示切换的目标视角。进而将视频图像帧的显示角度切换至所述目标视角。
如播放所述初始目标视频过程中,所述AR导演模型10转动时(如所述AR导演模型的朝向改变),判定接收到视角切换操作,根据所述AR导演模型10的目标朝向确定所述目标视角。进而从所述初始目标视频的视频图像帧的三维图像数据中获取与所述目标视角匹配的图像数据,将所述图像数据显示于所述移动终端的显示界面,使得所述视频图像帧的显示角度按照所述目标视角旋转。如此,所述目标视频以所述目标视角对应的图像信息进行显示。
可以理解的是,所述视角切换操作可以针对当前播放的视频片段或者视频图像帧,也可以针对整个视频。如视频播放过程中,若某一视频片段的视频图像帧的显示角度不符合用户需求,则可以通过切换该视频片段的视频图像帧的显示角度来更新所述视频的显示效果,使得视频达到用户需求。从另一个角度而言,本实施例基于每帧视频图像帧均包括三维图像数据,用户可以选择任一视角显示所述视频图像帧,若视频的显示效果不符合要求时,用户可以直接基于初始目标视频进行视角切换编辑即可,无需重新换视角拍摄,减少拍摄次数,提高电影拍摄效率。
可选地,在一些实施例中,所述视角切换操作还可以基于语音或手势触发,所述目标视角基于所述语音或手势确定,具体确定方式如上述第二实施例所述。
如另一实施例中,通过对初始目标视频输入设置信息,根据设置信息一键设置所述初始目标视频,达到快速便捷的目的。如所述所述目标图像帧以及预设时间顺序形成初始目标视频的步骤之后,还包括:
接收到视频设置信息时,根据所述设置信息确定目标视频段;
裁剪所述目标视频段;
拼接所述目标视频段,以形成目标视频。
可选地,所述设置信息包括目标视角设置和/或目标对象设置。
本实施例中,视频编辑功能包括视频设置信息输入端口,基于所述视频设置信息输入端口输入视频设置信息,如输入目标视角,设置目标视频的目标视角。可选地,所述目标视频的目标视角设置方式包括:设置与所述目标视角相同的视频图像帧形成所述目标视频;或者设置拍摄角度与所述目标视角相同的的视频图像帧形成所述目标视频;或者将所述初始目标视频的所有视频图像帧均切换到所述目标视角形成所述目标视频。
可选地,所述视频设置信息还包括目标对象设置。如输入目标对象,设置目标视频以所述目标对象作为目标主体。可选地,所述目标视频以所述目标对象作为目标主体的设置方式包括但不限于:设置包含有所述目标对象的所有视频图像帧形成所述目标视频;或者将所述目标对象的正向视角作为所有所述视频图像帧的显示视角,旋转所述视频图像帧,以形成所述目标视频。
可选地,由于视频图像帧的采集频率比较高,一般相邻的多帧视频图像帧的显示内容比较接近,为了减少数据处理过程,本实施例以视频段为单位进行裁剪,以减少拼接次数。
如所述视频设置信息包括但不限于目标视角设置和/或目标对象设置。
如一实施例中,所述设置信息为目标视角设置时,所述根据所述设置信息确定目标视频段的步骤包括:
将拍摄角度与所述目标视角相同的视频段作为所述目标视频段。
如一实施例中,所述设置信息包括目标对象设置时,所述根据所述设置信息确定目标视频段的步骤包括:
将包含有所述目标对象的视频段作为所述目标视频段。
本实施例中,移动终端接收到所述设置信息后,基于所述设置信息确定符合所述设置信息的目标视频段,进而裁剪所述目标视频段,将所述目标视频段按照时间戳进行拼接,以形成所述目标视频。
本实施例通过上述方式编辑所述初始目标视频,可以获取用户需求的视频。且基于上述编辑方式,可以由一个初始目标视频获得各种显示视角的视频,满足不同用户的不同需求,视频的显示效果丰富。
第五实施例
请参阅图8,本实施例提出图像处理方法的另一实施例,本实施例用于对视频的后期编辑。可选地,所述方法包括:
步骤S100,响应基于目标视频触发的调整操作;
步骤S200,获取所述调整操作的调整类型,所述调整类型包括视角切换以及视频设置中的至少一个;
步骤S300,按照所述调整类型调整所述目标视频,可选地,所述目标视频的视频图像帧包括三维图像数据。
本实施例应用于移动终端,所述移动终端具有视频编辑功能。基于所述视频编辑功能,可以对视频进行视角切换和/或视频设置。
可选地,用户可以基于移动终端的预设控件触发目标视频的调整操作,也可以基于长按所述目标视频触发所述调整操作。
可以理解的是,在一些实施例中,触发所述调整操作时,输出调整类型的选择界面,供用户选择调整类型,进而基于用户选择操作确定调整类型。如视角切换还是视频设置。
可以理解的是,在另一些实施例中,调整操作的触发端口包括至少两个,不同的端口个映射不同的调整类型,具体根据触发所述调整操作的触发端口确定所述调整类型。如所述移动终端中设置由AR导演模型,当用户触发所述AR导演模型时,则确定其调整类型为视角切换。当用户触发输入端口或者长按所述目标视频时,确定所述调整类型为视频设置。
可选地,不同的调整类型对所述目标视频的调整方式不同,如调整类型为视角切换时,基于AR导演模型的朝向来调整所述目标视频的视频图像帧的显示角度,可选地,AR导演模型可以在立体空间中根据需求角度任意转动,用户可通过不断的操作AR导演模式来达到需求的显示角度。如调整类型为视频设置时,则基于设置信息调整所述目标视频,所述设置信息输入移动终端后,则只能按照设定好的调整,相对于AR导演模型,通过设置信息可达到一步调整,不需要经过不断的切换调整。
可选地,以下以不同调整类型对应的目标视频的调整过程的一可选实施例进行说明:
(一)如所述调整类型为视角切换时,所述按照所述调整类型调整所述目标视频的步骤包括:
基于所述调整操作确定目标视角;
按照所述目标视角旋转所述目标视频的视频图像帧的显示角度。
通过旋转AR导演模型的朝向确定目标视角,进而从所述初始目标视频的视频图像帧的三维图像数据中获取与所述目标视角匹配的图像数据,将所述图像数据显示于所述移动终端的显示界面,使得所述视频图像帧的显示角度按照所述目标视角旋转。如此,所述目标视频以所述目标视角对应的图像信息进行显示。
可选地,所述AR导演模型的朝向可以基于用户手动触发,也可以基于语音或手势触发。具体实现方式与第四实施例相同。
可选地,所述按照所述目标视角旋转所述目标视频的视频图像帧的显示角度的步骤包括:
根据所述目标角度在视频图像帧的三维图像数据中确定目标维度的图像数据;
将所述目标维度的图像数据旋转至显示界面。
可以理解的是,所述目标维度的图像数据是指与所述目标角度相同的角度的图像数据。通过将所述目标维度的图像数据旋转至显示界面,实现切换实时目标视频的视频图像帧的显示角度。
(二)如所述调整类型为视频设置时,所述按照所述调整类型调整所述目标视频的步骤包括:
根据所述调整操作获取设置信息;
根据所述设置信息确定目标视频段;
裁剪所述目标视频段;
拼接所述目标视频段,以形成目标视频。
所述设置信息时基于移动终端输入的,如基于移动终端的输入窗口,或者基于语音输入等。本实施例基于设置信息可以实现将所述视频的所有设置信息输入后,一键调整所述目标视频,达到快速调整、操作便捷的目的。
可选地,所述设置信息包括目标视角设置和/或目标对象设置。
本实施例中,视频编辑功能包括视频设置信息输入端口,基于所述视频设置信息输入端口输入视频设置信息,如输入目标视角,设置目标视频的目标视角。可选地,所述目标视频的目标视角设置方式包括:设置与所述目标视角相同的视频图像帧形成所述目标视频;或者设置拍摄角度与所述目标视角相同的的视频图像帧形成所述目标视频;或者将所述初始目标视频的所有视频图像帧均切换到所述目标视角形成所述目标视频。
可选地,所述视频设置信息还包括目标对象设置。如输入目标对象,设置目标视频以所述目标对象作为目标主体。可选地,所述目标视频以所述目标对象作为目标主体的设置方式包括但不限于:设置包含有所述目标对象的所有视频图像帧形成所述目标视频;或者将所述目标对象的正向视角作为所有所述视频图像帧的显示视角,旋转所述视频图像帧,以形成所述目标视频。
可选地,由于视频图像帧的采集频率比较高,一般相邻的多帧视频图像帧的显示内容比较接近,为了减少数据处理过程,本实施例以视频段为单位进行裁剪,以减少拼接次数。
如所述视频设置信息包括但不限于目标视角设置和/或目标对象设置。
如一实施例中,所述设置信息为目标视角设置时,所述根据所述设置信息确定目标视频段的步骤包括:
将拍摄角度与所述目标视角相同的视频段作为所述目标视频段。
如一实施例中,所述设置信息包括目标对象设置时,所述根据所述设置信息确定目标视频段的步骤包括:
将包含有所述目标对象的视频段作为所述目标视频段。
本实施例中,移动终端接收到所述设置信息后,基于所述设置信息确定符合所述设置信息的目标视频段,进而裁剪所述目标视频段,将所述目标视频段按照时间戳进行拼接,以形成所述目标视频。
本实施例通过上述方式编辑所述初始目标视频,可以获取用户需求的视频。且基于上述编辑方式,可以由一个初始目标视频获得各种显示视角的视频,满足不同用户的不同需求,视频的显示效果丰富。
本申请实施例还提供一种移动终端,移动终端包括存储器、处理器,存储器上存储有图像处理程序,图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有图像处理程序,图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。
在本申请提供的移动终端和计算机可读存储介质的实施例中,可以包含任一上述图像处理方法实施例的全部技术特征,说明书拓展和解释内容与上述方法的各实施例基本相同,在此不做再赘述。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中的方法。
本申请实施例还提供一种芯片,包括存储器和处理器,存储器用于存储计算机程序,处理器用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
在本申请中,对于相同或相似的术语概念、技术方案和/或应用场景描述,一般只在第一次出现时进行详细描述,后面再重复出现时,为了简洁,一般未再重复阐述,在理解本申请技术方案等内容时,对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等,可以参考其之前的相关详细描述。
在本申请中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本申请技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD),或者半导体介质(例如固态存储盘Solid State Disk(SSD))等。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (16)
1.一种图像处理方法,其特征在于,所述方法包括:
接收视频图像帧;
根据所述视频图像帧中的图像信息建立所述视频图像帧的三维图像数据;
根据所述三维图像数据形成目标图像帧。
2.如权利要求1所述的方法,其特征在于,所述根据所述视频图像帧中的图像信息建立所述视频图像帧的三维图像数据的步骤包括:
基于预设的图像三维模型以及所述视频图像帧中的图像景深信息建立所述视频图像帧的三维图像数据。
3.如权利要求1所述的方法,其特征在于,所述接收视频图像帧的步骤之前,还包括:
监测到视角切换时,获取目标拍摄角度;
输出所述目标拍摄角度的切换操作提示信息,以提示旋转移动终端和/或所述移动终端的摄像头至所述目标拍摄角度;
或者,控制移动终端和/或所述移动终端的摄像头旋转,使得所述移动终端的摄像头旋转至所述目标拍摄角度以采集所述视频图像帧。
4.如权利要求3所述的方法,其特征在于,所述监测到视角切换时,获取目标拍摄角度的步骤包括以下至少一个:
检测到增强现实模型的旋转操作时,获取所述增强现实模型旋转后的朝向角度,将所述朝向角度作为所述目标拍摄角度;
接收到手势信息时,根据所述手势信息确定所述目标拍摄角度;
接收到语音控制信息时,根据所述语音控制信息的控制指令确定目标拍摄角度;
检测到追踪的目标主体的朝向角度与前一帧视频图像帧中目标主体的朝向角度不一致时,将所述目标主体当前的朝向角度作为所述目标拍摄角度。
5.如权利要求1至4中任一项所述的方法,其特征在于,所述接收视频图像帧的步骤之前,还包括:
获取情景类型;
根据所述情景类型确定目标拍摄角度;
输出所述目标拍摄角度的切换操作提示信息,或者控制移动终端旋转,使得所述移动终端的摄像头旋转至所述目标拍摄角度来采集所述视频图像帧。
6.如权利要求1至4中任一项所述的方法,其特征在于,所述目标图像帧包括至少两个时,所述根据所述三维图像数据形成目标图像帧的步骤之后,还包括:
根据所述目标图像帧以及预设时间顺序形成初始目标视频。
7.如权利要求6所述的方法,其特征在于,所述所述目标图像帧以及预设时间顺序形成初始目标视频的步骤之后,还包括:
接收到视角切换操作时,基于所述视角切换操作确定目标视角;
按照所述目标视角旋转所述初始目标视频的视频图像帧的显示角度。
8.如权利要求6所述的方法,其特征在于,所述所述目标图像帧以及预设时间顺序形成初始目标视频的步骤之后,还包括:
接收到视频设置信息时,根据所述设置信息确定目标视频段;
裁剪所述目标视频段;
拼接所述目标视频段,以形成目标视频。
9.如权利要求8所述的方法,其特征在于,所述根据所述设置信息确定目标视频段的步骤包括:
所述设置信息包括目标视角设置,将拍摄角度与所述目标视角相同的视频段作为所述目标视频段;和/或,
所述设置信息包括目标对象设置,将包含有所述目标对象的视频段作为所述目标视频段。
10.一种图像处理方法,其特征在于,所述方法包括:
响应基于目标视频触发的调整操作;
获取所述调整操作的调整类型;
按照所述调整类型调整所述目标视频,其中,所述目标视频的视频图像帧包括三维图像数据。
11.如权利要求10所述的方法,其特征在于,所述按照所述调整类型调整所述目标视频的步骤包括:
所述调整类型为视角切换,基于所述调整操作确定目标视角;
按照所述目标视角旋转所述目标视频的视频图像帧的显示角度。
12.如权利要求11所述的方法,其特征在于,所述按照所述目标视角旋转所述目标视频的视频图像帧的显示角度的步骤包括:
根据所述目标角度在视频图像帧的三维图像数据中确定目标维度的图像数据;
将所述目标维度的图像数据旋转至显示界面。
13.如权利要求10至12中任一项所述的方法,其特征在于,所述按照所述调整类型调整所述目标视频的步骤包括:
所述调整类型为视频设置,根据所述调整操作获取设置信息;
根据所述设置信息确定目标视频段;
裁剪所述目标视频段;
拼接所述目标视频段,以形成目标视频。
14.如权利要求13所述的方法,其特征在于,所述根据所述设置信息确定目标视频段的步骤包括:
所述设置信息包括目标视角设置,将拍摄角度与所述目标视角相同的视频段作为所述目标视频段;和/或,
所述设置信息包括目标对象设置,将包含有所述目标对象的视频段作为所述目标视频段。
15.一种移动终端,其特征在于,所述移动终端包括:存储器、处理器,其中,所述存储器上存储有图像处理程序,所述图像处理程序被所述处理器执行时实现如权利要求1至14中任一项所述的图像处理方法的步骤。
16.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至14中任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111314696.1A CN114040183B (zh) | 2021-11-08 | 图像处理方法、移动终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111314696.1A CN114040183B (zh) | 2021-11-08 | 图像处理方法、移动终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114040183A true CN114040183A (zh) | 2022-02-11 |
CN114040183B CN114040183B (zh) | 2024-04-30 |
Family
ID=
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107689029A (zh) * | 2017-09-01 | 2018-02-13 | 努比亚技术有限公司 | 图像处理方法、移动终端和计算机可读存储介质 |
CN107707817A (zh) * | 2017-09-27 | 2018-02-16 | 维沃移动通信有限公司 | 一种视频拍摄方法及移动终端 |
CN107820014A (zh) * | 2017-11-27 | 2018-03-20 | 努比亚技术有限公司 | 一种拍摄方法、移动终端及计算机存储介质 |
CN108322644A (zh) * | 2018-01-18 | 2018-07-24 | 努比亚技术有限公司 | 一种图像处理方法、移动终端以及计算机可读存储介质 |
CN111447504A (zh) * | 2020-03-27 | 2020-07-24 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、装置、可读存储介质和电子设备 |
CN112866627A (zh) * | 2019-11-28 | 2021-05-28 | 上海华为技术有限公司 | 一种三维视频监控方法及相关设备 |
US20210258535A1 (en) * | 2020-02-19 | 2021-08-19 | Beijing Xiaomi Mobile Software Co., Ltd. | Image capturing method, apparatus, and storage medium |
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107689029A (zh) * | 2017-09-01 | 2018-02-13 | 努比亚技术有限公司 | 图像处理方法、移动终端和计算机可读存储介质 |
CN107707817A (zh) * | 2017-09-27 | 2018-02-16 | 维沃移动通信有限公司 | 一种视频拍摄方法及移动终端 |
CN107820014A (zh) * | 2017-11-27 | 2018-03-20 | 努比亚技术有限公司 | 一种拍摄方法、移动终端及计算机存储介质 |
CN108322644A (zh) * | 2018-01-18 | 2018-07-24 | 努比亚技术有限公司 | 一种图像处理方法、移动终端以及计算机可读存储介质 |
CN112866627A (zh) * | 2019-11-28 | 2021-05-28 | 上海华为技术有限公司 | 一种三维视频监控方法及相关设备 |
US20210258535A1 (en) * | 2020-02-19 | 2021-08-19 | Beijing Xiaomi Mobile Software Co., Ltd. | Image capturing method, apparatus, and storage medium |
CN111447504A (zh) * | 2020-03-27 | 2020-07-24 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、装置、可读存储介质和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111935402B (zh) | 图片的拍摄方法、终端设备及计算机可读存储介质 | |
CN111885307B (zh) | 一种景深拍摄方法、设备及计算机可读存储介质 | |
CN113542610A (zh) | 拍摄方法、移动终端及存储介质 | |
CN113556492A (zh) | 缩略图生成方法、移动终端及可读存储介质 | |
CN112511741A (zh) | 一种图像处理方法、移动终端以及计算机存储介质 | |
CN108282608B (zh) | 多区域对焦方法、移动终端及计算机可读存储介质 | |
CN115665551A (zh) | 处理方法、智能终端及存储介质 | |
CN108305218B (zh) | 全景图像处理方法、终端及计算机可读存储介质 | |
CN112532838B (zh) | 一种图像处理方法、移动终端以及计算机存储介质 | |
CN113286106B (zh) | 录像方法、移动终端及存储介质 | |
CN115134527A (zh) | 处理方法、智能终端及存储介质 | |
CN112532786B (zh) | 图像显示方法、终端设备和存储介质 | |
CN114040183B (zh) | 图像处理方法、移动终端及存储介质 | |
CN114845044A (zh) | 图像处理方法、智能终端及存储介质 | |
CN113727047A (zh) | 视频处理方法、移动终端及可读存储介质 | |
CN110456969B (zh) | 一种长截图实现方法、终端及计算机可读存储介质 | |
CN113419694A (zh) | 处理方法、移动终端及存储介质 | |
CN113194227A (zh) | 处理方法、移动终端和存储介质 | |
CN109495683B (zh) | 一种间隔拍摄方法、设备及计算机可读存储介质 | |
CN113572916A (zh) | 拍摄方法、终端设备及存储介质 | |
CN114040183A (zh) | 图像处理方法、移动终端及存储介质 | |
CN110764852A (zh) | 一种截图方法、终端及计算机可读存储介质 | |
CN115412672B (zh) | 一种拍摄展示方法、智能终端及可读存储介质 | |
CN113840062B (zh) | 相机的控制方法、移动终端及可读存储介质 | |
CN113596350B (zh) | 图像处理方法、移动终端及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |